数据挖掘-处理缺失值

为什么需要处理缺失值呢？

训练数据集中缺少的数据可以减少模型的拟合，或者可能导致模型偏差，因为没有正确地分析变量的行为和关系，可能导致错误的预测或分类。

注意上图中缺失值：在左侧的情况下，没有处理缺失值， 男性打板球的机会高于女性。 另一方面，如果看看第二个表，其中显示了处理缺失值后的数据（基于性别），我们可以看到女性与男性相比有较高的打板球的机会。

为什么会有缺失值呢？

前面说明了在数据集中处理缺失值的重要性， 现在来确定发生这些缺失值的原因，主要有以下两个阶段：

数据提取（Data Extraction）

提取过程可能有问题，在这种情况下，应该使用数据监护检查数据的准确性， 一些散列程序也可以用来确保数据提取的正确性，比较容易纠正（数据提取主要在NLP或者图像邻域，我现在理解不到位，后面补充）。

数据采集（Data collection）

数据采集时发生的错误，很难纠正，主要分为以下四种：

• Missing completely at random
  即所有观