数据挖掘学习|task2 EDA—数据探索性分析

1.学习参考链接：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.12.1cd8593aw4bbL5&postId=95457
数据探索在机器学习中一般被称为EDA（Exploratory Data Analysis）：

是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。

数据探索的意义：有利于我们发现数据特征以及数据之间的关联性，对于后续的特征构建是非常有帮助的。

那么如何做EDA呢？可以从以下几个方面扩展思路。

1. 描述性统计分析：sum()\describe()\mean()等查看训练数据、测试数据的大小，特征类型、特征缺失情况，特征的均值方差等
   

2. 分析某些特征的缺失情况，可以用missingno,非常清晰地看到缺失值的分布情况。为了后续模型验证和分析，需要判断对于缺失值采取填充（采用什么方式填充？众数填充、均值填充、0填充？）还是舍去操作。
   
   

3. 异常值分析，同样需要判断是剔除还是填充。可以先查看数据的偏斜程度，对于偏斜程度较大的特征采取剔除操作。
   

4. 查看预测值分布情况以及各个特征的unique分布。这里可以给特征分成数值型和分类型分布分析。接下来进行特征的相关性分析corr()。可以做很多可视化，如柱形图、箱线图、频数分布图等。
   

5. 进一步可以联合label与特征进行相关性分析，以及特征与特征之间的关联性分析。