【漫话机器学习系列】169.“随机缺失”（MAR: Missing At Random）

数据缺失类型之“随机缺失”（MAR: Missing At Random）

在数据分析和机器学习领域，数据缺失是一种常见的问题。数据缺失可能会影响数据的质量，从而影响分析的准确性和建模的可靠性。针对数据缺失，我们通常会将其分类，以便采用合适的处理方法。其中，“随机缺失”（Missing At Random, MAR）是一个重要的概念。

1. 随机缺失（MAR）的定义

“随机缺失”指的是数据的缺失不是完全随机的，而是依赖于其他可观测变量的信息。例如，如果某些人的薪资数据缺失，但缺失的概率依赖于性别（即，男性比女性更可能不回答薪资问题），那么这种缺失就属于MAR类型。

换句话说，数据的缺失机制可以被其他变量所解释，但与自身的具体取值无关。 这意味着，如果我们知道这些相关变量的信息，就可以更好地预测缺失数据的情况。

2. MAR 的例子

• 调查问卷中的薪资问题

  • 例如，在一项社会调查中，男性受访者可能比女性受访者更不愿意透露自己的薪资信息。但如果我们知道受访者的性别，那么就可以解释这种缺失情况。这表明缺失并非完全随机，而是受性别因素的影响。

• 医疗数据

  • 在医院的病人数据中，老年人的血压测量值可能更容易缺失，因为老年人可能更不愿意或无法完成某些检查。但是，缺失与年龄有关，而不是血压本身的具体值。

• 学生成绩

  • 在一所学校的期末考试数据中，缺考的情况可能更多地发生在成绩较低的学生身上，但如果缺失的情况是因为某些已知的因素（如出勤率、家庭背景等）而发生，而不是因为考试成绩本身，这种情况也属于MAR。

3. MAR 与其他缺失类型的对比

在数据科学中，数据缺失一般分为三类：

• MCAR（Missing Completely At Random, 完全随机缺失）

  • 这类缺失完全是随机发生的，不依赖于任何变量。例如，某个调查数据中，部分问卷因为打印错误导致某些答案丢失。

• MAR（Missing At Random, 随机缺失）

  • 缺失数据的发生与某些已知的变量有关，但与缺失变量本身的值无关。例如，某些人的收入数据缺失是因为他们的职业类别，而不是他们的收入水平本身。

• MNAR（Missing Not At Random, 非随机缺失）

  • 缺失数据的发生直接与缺失变量自身的值相关。例如，高收入者可能更倾向于不回答薪资问题，而低收入者更愿意回答。在这种情况下，数据缺失的机制无法通过其他变量解释，而是取决于自身的值。

4. 处理 MAR 缺失数据的方法

由于 MAR 缺失数据的缺失机制可以通过其他可观测变量解释，因此在处理时可以利用这些信息来减少数据的偏差。常见的方法包括：

• 插值法（Imputation）

  • 通过均值、众数、中位数等方法填补缺失值。

  • 通过回归模型（如多重插补）预测缺失值。

• 建模时考虑缺失模式

  • 在机器学习模型中，将缺失模式作为一个特征变量进行建模。

• 多重插补（Multiple Imputation）

  • 使用统计方法生成多个可能的缺失数据填补方案，以减少不确定性。

5. MAR 数据缺失的影响

如果 MAR 数据缺失处理不当，可能会导致：

• 数据分析的偏差

• 模型预测能力下降

• 错误的推断和结论

但相比于 MNAR，MAR 仍然相对较好处理，因为我们可以利用其他可用变量的信息来补充缺失的数据。

6. 结论

在数据分析中，正确理解数据缺失的类型至关重要。MAR（随机缺失）意味着缺失数据的模式可以通过其他可观测变量解释，因此可以通过合适的统计方法进行修正和补全。通过恰当的处理，我们可以减少数据缺失带来的负面影响，提高数据分析和机器学习模型的准确性和可靠性。