数据挖掘学习小组:Task2.数据分析

Task2.数据分析

EDA（探索性数据分析）

探索性数据分析（Exploratory Data Analysis，简称EDA），是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。特别是当我们对面对大数据时代到来的时候，各种杂乱的“脏数据”，往往不知所措，不知道从哪里开始了解目前拿到手上的数据的时候，探索性数据分析就非常有效。
流程：

1. 载入各种数据科学以及可视化库:
   • 数据科学库 pandas、numpy、scipy；
   • 可视化库 matplotlib、seabon；
   • 其他；
2. 载入数据：
   • 载入训练集和测试集；
   • 简略观察数据(head()+shape)；
3. 数据总览:
   • 通过describe()来熟悉数据的相关统计量
   • 通过info()来熟悉数据类型
4. 判断数据缺失和异常
   • 查看每列的存在nan情况
   • 异常值检测
5. 了解预测值的分布
   • 总体分布概况（无界约翰逊分布等）
   • 查看skewness and kurtosis
   • 查看预测值的具体频数
6. 特征分为类别特征和数字特征，并对类别特征查看unique分布
7. 数字特征分析
   • 相关性分析
   • 查看几个特征得 偏度和峰值
   • 每个数字特征得分布可视化
   • 数字特征相互之间的关系可视化
   • 多变量互相回归关系可视化
8. 类型特征分析
   • unique分布
   • 类别特征箱形图可视化
   • 类别特征的小提琴图可视化
   • 类别特征的柱形图可视化类别
   • 特征的每个类别频数可视化(count_plot)
9. 用pandas_profiling生成数据报告

Numpy

• 之前没有系统学习过numpy，pandas等工具的使用，借此机会重新学习了一下。

1. 几个常用的生成方法：

   a = np.array(1,2,3,4)    # WRONG
   a = np.array([1,2,3,4])  # RIGHT
   np.zeros( (3,4) )
   np.ones( (2,3,4), dtype=np.int16)   # dtype can also be specified
   np.empty( (2,3) )      # uninitialized, output may vary
   

2. 当arange与浮点参数一起使用时，由于有限的浮点精度，通常不可能预测所获得的元素的数量。出于这个原因，通常最好使用linspace函数来接收我们想要的元素数量的函数，而不是步长（step）：

   >>> from numpy import pi
   >>> np.linspace( 0, 2, 9 )                 # 9 numbers from 0 to 2
   array([ 0.  ,  0.25,  0.5 ,  0.75,  1.  ,  1.25,  1.5 ,  1.75,  2.])
   >>> x = np.linspace( 0, 2*pi, 100 )        # useful to evaluate function at lots of points
   >>> f = np.sin(x)
   

3. 当您打印数组时，NumPy以与嵌套列表类似的方式显示它，但具有以下布局：

• 最后一个轴从左到右打印，
• 倒数第二个从上到下打印，
• 其余部分也从上到下打印，每个切片用空行分隔。

4. 然后将一维数组打印为行，将二维数据打印为矩阵，将三维数据打印为矩数组表。

   >>> a = np.arange(6)                         # 1d array
   >>> print(a)
   [0 1 2 3 4 5]
   >>>
   >>> b = np.arange(12).reshape(4,3)           # 2d array
   >>> print(b)
   [[ 0  1  2]
    [ 3  4  5]
    [ 6  7  8]
    [ 9 10 11]]
   >>>
   >>> c = np.arange(24).reshape(2,3,4)         # 3d array
   >>> print(c)
   [[[ 0  1  2  3]
     [ 4  5  6  7]
     [ 8  9 10 11]]
    [[12 13 14 15]
     [16 17 18 19]
     [20 21 22 23]]]
   

5. 与许多矩阵语言不同，乘积运算符*在NumPy数组中按元素进行运算。矩阵乘积可以使用@运算符（在python> = 3.5中）或dot函数或方法执行

6. 某些操作（例如+=和 *=）会更直接更改被操作的矩阵数组而不会创建新矩阵数组

7. 当使用不同类型的数组进行操作时，结果数组的类型对应于更一般或更精确的数组（称为向上转换的行为）

8. 许多一元操作，例如计算数组中所有元素的总和，都是作为ndarray类的方法实现的

   >>> a = np.random.random((2,3))
   >>> a
   array([[ 0.18626021,  0.34556073,  0.39676747],
         [ 0.53881673,  0.41919451,  0.6852195 ]])
   >>> a.sum()
   2.5718191614547998
   >>> a.min()
   0.1862602113776709
   >>> a.max()
   0.6852195003967595
   

Pandas

1. Series：

   In [3]: s = pd.Series([1, 3, 5, np.nan, 6, 8