2021-03-19

EDA

2.1 EDA 目标¶
EDA的价值主要在于***熟悉数据集，了解数据集***，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
当了解了数据集之后我们下一步就是要去***了解变量间的相互关系以及变量与预测值之间的存在关系***。
引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。

2.2 内容介绍
载入各种数据科学以及可视化库:
数据科学库 pandas、numpy、scipy；
可视化库 matplotlib、seabon；
载入数据：
载入训练集和测试集；
简略观察数据(head()+shape)；
数据总览:
通过describe()来熟悉数据的相关统计量
通过info()来熟悉数据类型
判断数据缺失和异常
查看每列的存在nan情况
异常值检测
了解预测值的分布
总体分布概况
查看skewness and kurtosis
查看预测值的具体频数