金融风控--2-数据分析

2.1 学习目标

• 数据基本情况：缺失值、异常值
• 变量间相互关系、变量与预测值之间的存在关系

2.2 具体内容

• 总体了解：shape；info()；describe()
• 缺失值+唯一值
• 两种类型数据：类别型数据和数值型数据（离散数值型和连续数值型）
• 数据间相关关系（特征与特征之间+特征与目标变量之间）
• 用pndas_profiling生成数据报告

2.3 代码部分

2.3.4查看缺失值的意义：

• 纵向了解： 存在nan的字段，并把nan的个数打印，主要目的是在于查看某一列nan存在的个数是否真的很大，如果nan存在的过多，说明这一列对label的影响几乎不起作用了，可以考虑删掉；如果缺失值数量很小，一般可以选择填充。
• 横向比较，如果在数据集中，某些样本数据的大部分列都是缺失的，且样本足够的情况下可以考虑删除。

tips：
lgb模型可以自动处理缺失值。

2.3.5特征类型

• 特征一般都是由类别特征和数值型特征组成，而数值型特征又分为连续型和离散型。
• 类别型特征：
  有数值型关系 or 没有数值关系，比如’grade’中的等级A、B、C等，是只是单纯的分类，还是A优于其他的要结合业务判断。
• 数值型特征：