任务二

EDA（探索性数据分析）

• 定义：在统计学中，探索性数据分析（EDA）是一种分析数据集以概括其主要特征的方法，通常使用可视化方法。可以使用或使用统计模型，但主要是EDA是为了了解数据在形式化建模或假设测试任务之外能告诉我们什么。EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
• 目的：熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。

具体使用

• 载入各种数据科学以及可视化库:
  数据科学库 pandas、numpy、scipy;可视化库 matplotlib、seabon；
  避免提醒的warnings
• 载入数据：
  载入训练集和测试集；
  简略观察数据(head()+shape)；
• 数据总览:
  通过describe()来熟悉数据的相关统计量
  通过info()来熟悉数据类型
• 判断数据缺失和异常
  查看每列的存在nan情况
  异常值检测
• 了解预测值的分布
  总体分布概况（无界约翰逊分布等）
  查看skewness and kurtosis
  查看预测值的具体频数
• 特征分为类别特征和数字特征，并对类别特征查看unique分布
• 数字特征分析
  相关性分析
  查看几个特征得 偏度和峰值
  每个数字特征得分布可视化
  数字特征相互之间的关系可视化
  多变量互相回归关系可视化
• 类型特征分析
  unique分布
  类别特征箱形图可视化
  类别特征的小提琴图可视化
  类别特征的柱形图可视化类别
  特征的每个类别频数可视化(count_plot)
• 用pandas_profiling生成数据报告