EDA-数据探索性分析

赛题：零基础入门数据挖掘 - 二手车交易价格预测

EDA的目标

• 熟悉数据集，了解数据集，数据表达了什么
• 数据挖掘结构
• 初步分离出一些重要特征
• 挖掘离群数据和异常数据
• 初步确定可以用的模型

绘图方法

• 时序图（变化规律）
• 直方图（分布）
• 密度曲线（分布）
• 箱型图（查看数据异常情况）（不同数据间分布的对比）
• 小提琴图（进阶版的箱型图）（某个值附近的概率分布）

量化方法

• 相关性分析
• 独立性分析

内容介绍

1. 载入各种数据科学以及可视化库:

pip install 安装，特殊情况例如 pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

• 数据科学库 pandas、numpy、scipy；
• 可视化库 matplotlib、seabon；
• 其他；

3. 载入数据：

• 载入训练集和测试集；
• 简略观察数据(head()+shape)；

4. 数据总览:

• 通过describe()来熟悉数据的相关统计量
• 通过info()来熟悉数据类型

5. 判断数据缺失和异常

• 查看每列的存在nan情况
• 异常值检测

有时为了模型效果会剔除掉异常值

如果测试集或带预测的数据本身就包含异常值，在这种情况下，可以采取自己去构造一些规则再应用到t测试数据集当中

6. 了解预测值的分布

• 总体分布概况（无界约翰逊分布等）
• 查看skewness and kurtosis
• 查看预测值的具体频数

7. 特征分为类别特征和数字特征，并对类别特征查看unique分布
8. 数字特征分析

• 相关性分析
• 查看几个特征得 偏度和峰值
• 每个数字特征得分布可视化
• 数字特征相互之间的关系可视化
• 多变量互相回归关系可视化

9. 类型特征分析

• unique分布
• 类别特征箱形图可视化
• 类别特征的小提琴图可视化
• 类别特征的柱形图可视化类别
• 特征的每个类别频数可视化(count_plot)

10. 用pandas_profiling生成数据报告