数据挖掘EDA学习

数据挖掘EDA学习

这两天课比较多，先搭上框架，更多的拓展会在后续补充。

EDA的目标

EDA的目标主要在于对数据集进行一个初步了解与处理，了解数据各个维度之间的相互关系以及维度与预测值之间的存在关系，对数据进行简单的分析处理和特征工程处理，使数据集的结构和特征集为预测问题的准确性更加可靠。

大体内容

1. 载入各种数据科学以及可视化库：数据科学库 pandas、numpy、scipy ；可视化库 matplotlib、seabon 等

2. 载入数据：载入训练集和测试集；简略观察数据(head()+shape)；

3. 数据总览：通过describe()来熟悉数据的相关统计量
   通过info()来熟悉数据类型

4. 判断数据缺失和异常：查看每列的存在nan情况及异常值检测

5. 了解预测值的分布：总体分布概况（无界约翰逊分布等）、查看skewness and kurtosis、查看预测值的具体频数等

6. 数字特征分析：分析相关性分析、偏度和峰值等指标。探索相互之间的关系及多变量互相回归等关系

7. 类型特征分析：对类别特征进行分析，使用如箱形图、小提琴图、柱形图等进行可视化分析