类别不平衡问题 —— 各种评估指标

 类别不平衡问题

在二分类问题中，通常假设正负类别相对均衡（混淆矩阵），然而实际应用中类别不平衡的问题，如100, 1000, 10000倍的数据偏斜是非常常见的，比如疾病检测中未患病的人数远超患病的人数，产品质量检测中合格产品数量远超不合格产品等。在检测信用卡欺诈问题中，同样正例的数目稀少，而且正例的数量会随着时间和地点的改变而不断变化，分类器要想在不断变化的正负样本中达到好的检测效果是非常困难的。

---

由于类别不平衡问题的特性使然，一般常使用于评估分类器性能的准确率和错误率可能就不再适用了。因为在类别不平衡问题中我们主要关心数目少的那一类能否被正确分类，而如果分类器将所有样例都划分为数目多的那一类，就能轻松达到很高的准确率，但实际上该分类器并没有任何效果。

---

True Positive (真正例，TP)：实际为正例，预测为正例。

False Negative (假负例，FN)：实际为正例，预测为负例。

True Negative (真负例，TN)：实际为负例，预测为负例。

False Positive (假正例，FP)：实际为负例，预测为正例。 

                                     F1 score =

 F1 score 是一个综合指标，为Precision和Recall的调和平均 (harmonic mean)，数值上一般接近于二者中的较小值

因此如果F1 score比较高的话，意味着Precision和Recall都较高。