目录
1 导入数据查看相关信息
![](https://i-blog.csdnimg.cn/blog_migrate/1e9226a0b083556d5ed73646214d359e.png)
2 数据预处理
2.1 去重复值+更新索引
删除重复数据以后,索引依然是原来的数值,一定要记得更新为删除完重复数据之后的样本数量。
2.2 填补缺失值
查看缺失值比例
针对于该数据,我们需要填充的是月收入和家属人数。
家属人数缺失很少,仅缺失了大约2.5%
,可以考虑直接删除,或者使用均值来填补。
“
收入
”
缺失了几乎
20%
,并且我们知道,
“
收入
”
必然是一个对信用评分来说很重要的因素,因此这个特征必须要进行填补。
对于月收入的缺失,一个来借钱的人应该是会知道,
“
高收入”
或者
“
稳定收入
”
于他
/
她自己而言会是申请贷款过程中的一个助力,因此如果收入稳定良好的人,肯定会倾向于写上自己的收入情况,那么这些“
收入
”
栏缺失的人,更可能是收入状况不稳定或收入比较低的人。基于这种判断,我们可以用比如说,四分位数来填补缺失值,把所有收入为空的客户都当成是低收入人群。当然了,也有可能这些缺失是银行数据收集过程中的失误,我们并无法判断为什么收入栏会有缺失,所以我们的推断也有可能是不正确的。具体采用什么样的手段填补缺失值,要和业务人员去沟通,观察缺失值是如何产生的。在这里,我们使用随机森林填补
收入。
对于一个有
n
个特征的数据来说,其中特征
T
有缺失值,我们就把特征
T
当作标签,其他的n-1
个特征和原本的标签组成新的特征矩阵。那对于
T
来说,它没有缺失的部分,就是我们的Y_train,这部分数据既有标签也有特征,而它缺失的部分,只有特征没有标签,就是我们需要预测的部分。
特征
T
不缺失的值对应的其他
n-1
个特征
+
本来的标签:
X_train
特征
T
不缺失的值:
Y_train
特征
T
缺失的值对应的其他n-1
个特征
+
本来的标签:
X_test
特征
T