一份详细的缺失值介绍和处理方法总结

一、缺失值介绍

1.1、定义

缺失值： 是指在数据采集与整理过程中由于各种原因没有获得的数值、属性或内容。

1.2类型

类型一： 数据实际真是存在，但是没有观测到或记录到的数据。例如：当被访问者被问到比较敏感的问题时，访问者会拒绝回答
类型二： 实际不存在的数据。例如：被访问者死亡或者
在实际应用中，收集到的数据集中往往某个或某些属性的值是空白的、错误的、或不符合要求的，这样的值一般也作为缺失值进行处理。可以肯定地说，现实生活中缺失值的产生几乎是无法避免的。

1.3原因

（1）信息受到了时间的限制。比如：医生诊断报告
（2）某些调查属性对被调查者而言不存在。比如：儿童的固定收入是不存在的未婚者的配偶收入也是不存在的
（3）有些信息在被调查者看来需要保密。比如：收入、婚姻状况、年龄
（4）获取信息的成本过高。比如：高昂的医疗费用
（5）填写者或收集数据者的粗心大意，导致有些属性值填写时被遗漏

1.4缺失模式

1.4.1、单变量缺失值模式： 指的是数据集中只有一个变量存在缺失数据。
1.4.2、多变量缺失模式： 即数据集是由p个变量、n个样本构成的n×p矩阵，但其中某几个变量的一部分值是观测不到的
1.4.3、单调缺失模式： 若数据集是由p个变量、n 个样本构成的n×p矩阵，当矩阵中的变量 缺失时，则对任意 k>j 的变量 也是缺失的，导致这种缺失数据呈现出阶梯状。这样的缺失模式在固定样本点的调查中是最常见的，即随着时间的推移，固定样本中的一些样本点随着时间推移而逐渐丢失，之后的关于这些样本点的所有数据就都不存在了，所以跟踪调查的缺失数据模式就是单调缺失模式。
1.4.4、一般缺失模式： 若数据的缺失模式呈现出杂乱无章，毫无规律可循的现象，那么这种缺失数据的模式称为数据的一般缺失模式。这是最一般也是最典型的一种数据缺失模式，在抽样调查中是最常见的。

1.4缺失机制

在处理缺失值前了解缺失机制是非常必要的，1976年，Little和Robin把缺失机制划分为随机缺失、完全随机缺失和非完全随机缺失三类。

$X_{com}$表示数据集中不含缺失值的完全变量;
$X_{miss}$ 表示含有缺失值的变量，
$Y=(y_1,y_2$