缺失值处理方法

缺失值的处理是统计学中需要着重考虑的问题，属于数据预处理的环节。

1.缺失数据的分类

在对缺失值进行分析之前首先需要明确缺失值的类型，才能有的放矢。缺失值主要有两种分类方式。

1.1 按照数据缺失机制分类

• 完全随机缺失（MCAR)
  完全随机缺失是指缺失数据发生的概率既与观测到的数据无关，也与未观察到的数据无关。如果用$R_i$表示变量$X$的观测值$X_i$是否缺失的指示变量，则在MCAR情况中，有$$P(R_i|X_i)=P(R_i|\varphi )$$其中$\varphi$是与数据集中任何变量都无关的参数。
• 随机缺失（MAR)
  随机缺失是指缺失数据发生的概率与所观察到的变量是有关的，而与未观察到的数据特征是无关的，即$$P(R|X)=P(R|X_{obs},\varphi )$$
• 非随机缺失（NMAR)
  非随机缺失是指变量数据的缺失既依赖于完全变量又依赖于不完全变量本身。

1.2 按照数据缺失模式分类

• 单调缺失模式
  单调缺失模式是指对数据观测矩阵进行适当的行列交换后，可以得到一个矩阵，该矩阵中数据缺失呈现出层次级缺失的特征。
• 任意缺失模式
  即数据观测矩阵不能经过变换得到层次级缺失特征的缺失形式。

2. 缺失数据填补

2.1 缺失数据填补的目的

• 减小由于数据缺失导致的估计量偏差
• 构造完整的数据集

2.2 缺失数据的填补方式

2.2.1 删除含缺失值的个案

• 简单删除法
  简单删除法直接将存在缺失数据的个案删除。
• 权重法
  若缺失数据类型为非完全随机缺失，则可以通过对完整数据加权减小偏差。这种方法适用于模型中存在对权重估计起决定作用的变量且缺失变量数目较少的情形。

如果模型中存在多个变量，因为一个变量存在缺失值而删除整个个案，会损失大量关于其他变量的信息。

2.2.2. 可能值填补

• 均值填补法
  均值填补法是将各变量的均值作为缺失值的填补值。
  它的优点是操作简单，缺点是只适用于变量为正态分布或对称分布的情形，并且填补后估计量的方差会被低估，主要用于点估计等简单估计的场合。
  均值填补法还分为以下两类：
  （1）非条件均值填补：用所研究变量的均值代替所有缺失值。这种方法会影响对变量变异程度以及该变量与其他变量相关程度的估计。
  （2）条件均值填补：对响应变量进行分层，对于缺失数据，用该层内的均值进行填补。这种方法可以稍微降低对变量变异性的影响。

• 期望值最大化法

• 回归填补法
  选择与非完全变量高度相关的完全变量构造回归方程，对不完全变量的缺失值进行预测。

• 匹配填补
  从完全数据中寻找与缺失样本相似性最高的样本，用该样本的值进行填补

• KNN填补
  找出与缺失样本距离最近的$k$个完全样本，利用多数表决的方法进行填补。

2.2.3. 多重插补法

多重插补法将缺失数据视为随机变量，其取值为已观测到的数值，利用完整数据集合对缺失数据产生多个点估计结果，利用评分函数选择合适的插补数据。