![c7b425a42ae217172c99a27f18e7018b.png](https://i-blog.csdnimg.cn/blog_migrate/db1f080a203bda51ba0fdf3c7ba3ca9e.jpeg)
作者:Leopold d’Avezac
翻译:廖倩颖
校对:杨毅远
本文长度为1900字,建议阅读8分钟
本文为大家介绍了数据缺失的原因以及缺失值的类型,最后列举了每一种缺失值类型的处理方法以及优缺点。
标签:离群数据 填充
不论是机器学习模型,KPI或者报告,缺失值和它们的替代值都会导致你的分析结果出现巨大错误。通常分析人员只用一种方式处理缺失值。但事实并非如此,下面我们会介绍三种类型的缺失值以及其对应的解决方法。
空值(null)的类型
随机遗失(MAR):在变量中空值的出现并非随机,而是取决于记录中已知或者是未知的特征。那么你可能会问自己,为什么其被称为随机遗失呢?这是因为空值与其实际值无关。这取决于你的数据集是否能被测试。为了找出替代值,你应该比较其他变量的分布,以获取具有缺失值和非缺失值的记录。
比如:一个关于教育的数据集缺失了很多小孩的IQ测试分数,只是因为相比十二岁的孩子,四岁的孩子很少会通过这个测试。所以出现的空值与IQ实际值没有相关性,而与年龄相关。
完全随机缺失(MCAR):空值的出现与记录中已知或者未知特征是完全无关的。再次重申ÿ