无基础DatawhaleTASK2

1.EDA的作用
EDA的作用主要在于熟悉并了解数据集，对数据集进行处理，以便接下来机器学习或者深度学习使用
了解数据集之后，接下来就是了解数据集中各变量间的相互关系，变量与预测值之间的关系
引导数据科学从业者进行数据处理以及后面特征工程的部分，使得数据集的结构和特征集让接下来的预测问题更加可靠
完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。
2.内容介绍
1、载入各种数据科学以及可视化库
数据科学库：pandas、numpy、scipy
可视化库：matplotlib、seabon
2、载入数据
载入训练集和测试集
简略观察数据（head()+shape、tail()+shape）
3、数据总览
通过describe()来查看数据的相关统计量
通过info()来查看数据类型
4、判断数据缺失和异常
查看每列nan的情况
异常值检测
5、了解预测值的分布
总体分布概况（无界约翰逊分布等）
查看skewness、kurtosis
查看预测值的具体频数
6、特征分为数字特征和类别特征，并对类别特征查看unique分布
7、数字特征分析
相关性分析
查看几个特征的偏度和峰值
每个数字特征得分可视化
数字特征相互之间的关系可视化
多变量相互回归关系可视化
8、类型特征分析
unique分布
类别特征箱型图可视化
类别特征的小提琴图可视化
类别特征的柱形图可视化类别
特征的每个类别频数可视化（count_plot）
9、用pandas_profiling生成数据报告
3.新学习到的知识：
missingno模块用来查看每一个特征的缺失值
采用describe函数查看每一列的统计量，当出现99，999，-1时，都是nan的另外一种表达形式，需要留意
如果每一列的特征空值不多，则可以填充；如果空值过多，则可以删掉；如果使用lgb模型，可以直接空缺，让树自己去优化。