2.1 学习目标
- 数据基本情况:缺失值、异常值
- 变量间相互关系、变量与预测值之间的存在关系
2.2 具体内容
- 总体了解:shape;info();describe()
- 缺失值+唯一值
- 两种类型数据:类别型数据和数值型数据(离散数值型和连续数值型)
- 数据间相关关系(特征与特征之间+特征与目标变量之间)
- 用pndas_profiling生成数据报告
2.3 代码部分
2.3.4查看缺失值的意义:
- 纵向了解: 存在nan的字段,并把nan的个数打印,主要目的是在于查看某一列nan存在的个数是否真的很大,如果nan存在的过多,说明这一列对label的影响几乎不起作用了,可以考虑删掉;如果缺失值数量很小,一般可以选择填充。
- 横向比较,如果在数据集中,某些样本数据的大部分列都是缺失的,且样本足够的情况下可以考虑删除。
tips:
lgb模型可以自动处理缺失值。
2.3.5特征类型
- 特征一般都是由类别特征和数值型特征组成,而数值型特征又分为连续型和离散型。
- 类别型特征:
有数值型关系 or 没有数值关系,比如’grade’中的等级A、B、C等,是只是单纯的分类,还是A优于其他的要结合业务判断。 - 数值型特征: