零基础入门数据挖掘——二手车交易价格预测（1、EDA数据探索分析）

Datawhale 零基础入门数据挖掘-Task2 数据分析

赛题链接：二手车交易价格预测

EDA-数据探索性分析

EDA（Exploratory Data Analysis）是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。EDA的价值主要在于熟悉数据集，了解数据集，对数据集***进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用***。

当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。据探索有利于我们发现数据的一些特性，数据之间的关联性，对于后续的特征构建是很有帮助的。

内容介绍
载入各种数据科学以及可视化库:
数据科学库 pandas、numpy、scipy；
可视化库 matplotlib、seabon；
其他；
载入数据：
载入训练集和测试集；
简略观察数据(head()+shape)；
数据总览:
通过describe()来熟悉数据的相关统计量
通过info()来熟悉数据类型
判断数据缺失和异常
查看每列的存在nan情况
异常值检测
了解预测值的分布
总体分布概况（无界约翰逊分布等）
查看skewness and kurtosis
查看预测值的具体频数
特征分为类别特征和数字特征，并对类别特征查看unique分布
数字特征分析
相关性分析
查看几个特征得 偏度和峰值
每个数字特征得分布可视化
数字特征相互之间的关系可视化
多变量互相回归关系可视化
类型特征分析
unique分布
类别特征箱形图可视化
类别特征的小提琴图可视化
类别特征的柱形图可视化类别
特征的每个类别频数可视化(count_plot)
用pandas_profiling生成数据报告

本篇主要记录在数据探索会出现的一些小问题：
1、在进行以上操作时，会遇到一些问题，如安装包的问题

此时可以参照我的上一篇博客，怎样载入安装包，载入安装包方法
2、对现有的一些数据分析不理解，如总体分布概况（无界约翰逊分布等）、查看skewness and kurtosis、查看预测值的具体频数unique分布、类别特征箱形图可视化、类别特征的小提琴图可视化这些的实际意义，对数据进行类似探索的意义。此处是多变量之间的关系可视化</