天池二手车价格预测-EDA数据探索性分析

1.1 EDA目标

赛题：零基础入门数据挖掘-二手车交易价格预测

地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction ? spm = 5176.12281957.1004.1.38b02448ausjSX

• EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得的数据集可以用于接下来的机器学习或深度学习使用。
• 当了解了数据集之后我们接下来就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
• 引导数据科学从业者进行数据处理以及特征工程的步骤，使数据集的结构和特征集让其的预测问题更加可靠。
• 完成关于数据的探索性分析，并关于数据进行一些图表或文字总结

1.2 内容介绍

1. 载入各种数据科学以及可视化库:

• 数据科学库 pandas、numpy、scipy；
• 可视化库 matplotlib、seabon；
• 其他；
• 载入数据：

2. 载入训练集和测试集；

• 简略观察数据(head()+shape)；

3. 数据总览:

• 通过describe()来熟悉数据的相关统计量
• 通过info()来熟悉数据类型

4. 判断数据缺失和异常

• 查看每列的存在nan情况
• 异常值检测

5. 了解预测值的分布

• 总体分布概况（无界约翰逊分布等）
• 查看skewness and kurtosis
• 查看预测值的具体频数

6. 特征分为类别特征和数字特征，并对类别特征查看unique分布
7. 数字特征分析

• 相关性分析
• 查看几个特征得 偏度和峰值
• 每个数字特征得分布可视化
• 数字特征相互之间的关系可视化
• 多变量互相回归关系可视化

8. 类型特征分析

• unique分布
• 类别特征箱形图可视化
• 类别特征的小提琴图可视化
• 类别特征的柱形图可视化类别
• 特征的每个类别频数可视化(count_plot)

9. 用pandas_profiling生成数据报告

2.3 代码示例

2.3.1 载入各种数据科学以及可视化库

2.3.2 载入数据