探索性数据分析EDA及数据分析图表的选择

一、探索性数据分析EDA

探索性数据分析(Exploratory Data Analysis，简称EDA)，指对数据分析的过程中尽量不加入先验假设，而是通过作图表和统计等方式来探索数据结构和规律。
在EDA中你可以构思各种各样的假设，并通过数据分析去寻找相应的反馈，以此迭代来寻找到数据集中分布的规律。在探索的过程中会随着不断的深入对数据理解更加深刻。
EDA的流程如下：提出问题；筛选、清洗数据；分析数据；构建模型；得出结论。
EDA的过程与数据挖掘的流程不谋而合，特征是否起作用需要具体的分析和验证。从数据本身出发去寻找合适的特征。
在数据竞赛中，使用EDA完成数据分析的过程如下：

1. 读取并分析数据质量；
2. 探索性分析每个变量：
   变量是什么类型；
   变量是否有缺失值；
   变量是否有异常值；
   变量是否有重复值；
   变量是否均匀；
   变量是否需要转换；
3. 探索性分析变量与target标签的关系：
   变量与标签是否存在相关性；
   变量与标签是否存在业务逻辑；
4. 探索性分析变量之间的关系：
   1）连续型变量与连续型变量;
   可视化：散点图、相关性热力图；皮尔逊系数；互信息；
   2）离散变量与离散变量；
   可视化：柱状图、饼图、分组表；卡方检验；
   3）检查变量之间的正态性；直方图；箱线图；Quantile-Quantile (QQ图)；

根据EDA我们可以得出以下结论：变量是否需要筛选、替换和清洗；变量是否需要转换；变量之间是否需要交叉；变量是否需要采样；

二、数据分析图表的选择

可视化目的：比较/趋势/组成/联系/分布；
可视化变量类型：数值/日期/类别/经纬度；
可视化维度：分布/趋势；