机器学习之AUC评测指标

本文章参考以下链接，如有侵权，联系删除
参考

为什么要用AUC？

为什么不用准确率(accuracy)?

在二分类中，如果正反例分布不平衡，而我们对minority class 更感兴趣，这时accuracy评价指标基本没有参考价值，比如欺诈检测，癌症检测等场景。举个栗子：

在测试集里，有100个sample，99个反例，只有1个正例。如果我的模型不分青红皂白对任意一个sample都预测是反例，那么我的模型的accuracy是 正确的个数／总个数 = 99/100 = 99%。

为什么不用召回率(recall)和精确率(precision)?

召回率：把实际为真值的判断为真值的概率。
精确率：判断为真值，判断正确的概率（实际也为真值）。
recall = TP / (TP + FN)
precision = TP / (TP + FP)

一般说来，如果想要召回的多，精确率就要下降；想要精确率提升，召回的就少。因此，召回率与精确率是鱼与熊掌不可兼得。

为什么不用F1分数？

F1-score 可以看做是precision和recall的综合评价指标，公式为：

问题就是，如果你的两个模型，一个precision特别高，recall特别低，而另一个recall特别高，precision特别低的时候，F1-score可能是差不多的，你也不能基于此来作出选择。

AUC适用场景

AUC是一个用来评估分类模型性能的常见指标，优点是：

• 适用于正负样本分布不一致的场景；
• 对于分类器性能的评价，不限定单一的分类阈值；

AUC与ROC？

ROC是什么？

ROC，全名叫做Receiver Operating Characteristic（受试者操作曲线），其主要分析工具是一个画在二维平面上的曲线——ROC curve，其中，平面的横坐标是假正率（FPR），纵坐标是真正率(TPR)。

几个概念简单解释下：

真正率(TPR) = 灵敏度(Sensitivity) = 召回率：把实际为真值的判断为真值的概率。
特异度(Specificity)：把实际为假值的判断为假值的概率。
假正率(FPR) = 1 - 特异度：把实际为假值的判断为真值的概率。
TPR = TP / (TP+FN)
FPR = FP / (FP + TN
ROC曲线就是，在测试样本上根据不同的分类器阈值，计算出一系列的（FPR,TPR）点集，将其在平面图中连接成曲线，这就是ROC曲线。

画roc曲线的一个例子

假设已经得出一系列样本被划分为正类的概率，然后按照大小排序，下图是一个示例，图中共有20个测试样本，“Class”一栏表示每个测试样本真正的标签（p表示正样本，n表示负样本），“Score”表示每个测试样本属于正样本的概率。

接下来，我们从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。举例来说，对于图中的第4个样本，其“Score”值为0.6，那么样本1，2，3，4都被认为是正样本，因为它们的“Score”值都大于等于0.6，而其他样本则都认为是负样本。每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。这样一来，我们一共得到了20组FPR和TPR的值，将它们画在ROC曲线的结果如下图：

进一步理解ROC曲线

如下面这幅图，(a)图中实线为ROC曲线，线上每个点对应一个分类器阈值下(FPR,TPR)。

横轴表示FPR，FPR越大，预测正类中实际负类越多。
纵轴表示TPR：正类覆盖率，TPR越大，预测正类中实际正类越多。

ROC曲线必过(0, 0)和(1, 1)两个点。

• (1, 1)点含义：判分阈值为0，所有样本都被预测为正样本，TPR=1，FPR=1。
  判分阈值逐渐增加，TPR和FPR同时减小。
• (0, 0)点含义：判分阈值为1，所有样本都预测为负样本，TPR=0，FPR=0。

理想目标：TPR=1，FPR=0，即图中(0,1)点，故ROC曲线越靠拢(0,1)点，越偏离45度对角线越好，Sensitivity、Specificity越大效果越好。

AUC与ROC的联系

虽然，ROC曲线可以评测分类器的好坏，但是，人们总是希望能有一个具体数值来作为评价指标，于是Area Under roc Curve(AUC)就出现了。

顾名思义，AUC的值就是处于ROC curve下方的那部分面积的大小。通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的performance。

AUC怎么计算？

AUC有什么实际含义呢？简单来说其实就是，随机抽出一对样本（一个正样本，一个负样本），然后用训练得到的分类器来对这两个样本进行预测，预测得到正样本的概率大于负样本概率的概率，这个概率值就是AUC。

有以下两种方式计算AUC：
（1）方法一：

在有M个正样本,N个负样本的数据集里。一共有MN对样本（一对样本即，一个正样本与一个负样本）。统计这MN对样本里，正样本的预测概率大于负样本的预测概率的个数。

其中，

计算复杂度：O(M*N)。
（2）方法二：

其中：

（1）M, N分别是正样本和负样本的个数；

（2）$ran{k}_{in{s}_i}$代表第 $i$ 条样本的序号。（概率得分从小到大排，排在第rank个位置）

（3）${\sum }_{in{s}_i\in positiveclass}$表示把正样本的序号加起来。