数据挖掘随笔：数据集类别不平衡问题

在处理分类问题时，数据集可能会存在类不平衡问题，如在某冰箱厂家生产的10000台冰箱中，有9900台为合格产品，而剩余的100台为不合格产品。在这种情境下，即使采用将全部样本分类为正类的分类器也可以得到99%的准确率，但看似很高的准确率却并没有任何意义，因为在实际应用中需要重点关注的往往正是那些总量只占1%的错误分类样本。这就使得分类器准确性的评估变得没有意义。

通过阅读《数据挖掘导论》第五章的相应内容，下面介绍几种处理类不平衡问题的方法。这几种方法可以分为三个方面的处理：（1）各类别各自的评价标准；（2）正负类别之间的代价处理；（3）数据集的采样处理。下面具体介绍。

1.各类别各自的评价标准

由于正负样本件数目相差过大，可以对各类样本内部进行分析来对分类器进行评估。下面介绍一些具体方法。

1.1 一些评价值

真正例（TP）：分类器分类为正例的样本中原本为正样本的样本数。

真反例（TN）：分类器分类为反例的样本中原本为反样本的样本数。

假正例（FP）：分类器分类为正例的样本中原本为反样本的样本数。

假反例（FN）：分类器分类为反例的样本中原本为正样本的样本数。

其中FP和FN都是被误分类的样本。

可以对分类器得到的上述值构造混淆矩阵。如下图