暑期项目实训个人记录-5

异常值处理

缺失值处理完毕后，我们还需要进行异常值处理。异常值是指明显偏离大多数抽样数据的数值，比如个人客户的年龄大于100或小于0时，通常认为该值为异常值。找出样本总体中的异常值，通常采用离群值检测的方法。 离群值检测的方法有单变量离群值检测、局部离群值因子检测、基于聚类方法的离群值检测等方法。

在本数据集中，采用单变量离群值检测来判断异常值，采用箱线图。

对于age变量而言，我们认为大于100岁小于等于0岁的为异常值，由箱线图可知，异常值样本不多，故直接删除。

因为上述两变量的数值型为百分比，故大于1的值全部删除。

对于变量x2（逾期30-59天笔数）、x6（逾期90天笔数）、x8（逾期60-89天笔数做箱线图，由图可知，有两异常值点，数值为96、98，删除。