机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率

北京 | 高性能计算之GPU CUDA课程11月24-26日 3天密集学习 快速带你晋级 阅读全文 >

在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵(confusion matrix)（https://en.wikipedia.org/wiki/Confusion_matrix）的工具，它可以帮助人们更好地了解分类中的错误。

比如有这样一个在房子周围可能发现的动物类型的预测，这个预测的三类问题的混淆矩阵如下表所示：

一个三类问题的混淆矩阵

利用混淆矩阵可以充分理解分类中的错误了。如果混淆矩阵中的非对角线元素均为0，就会得到一个近乎完美的分类器。

在接下来的讨论中，将以经典的二分类问题为例，对于多分类类比推断。

二分类问题在机器学习中是一个很常见的问题，经常会用到。ROC (Receiver Operating Characteristic) 曲线和 AUC (Area Under the Curve) 值常被用来评价一个二值分类器 (binary classifier)（https://en.wikipedia.org/wiki/Binary_classification） 的优劣。之前做医学图像计算机辅助肺结节检测时，在评定模型预测结果时，就用到了ROC和AUC，这里简单介绍一下它们的特点，以及更为深入地，讨论如何作出ROC曲线图和计算AUC值。

1、医学图像识别二分类问题

针对一个二分类问题，我们将实例分成正类(positive)和负类(negative)两种。

例如：在肺结节计算机辅助识别这一问题上，一幅肺部CT图像中有肺结节被认为是阳性(positive)，没有肺结节被认为是阴性(negative)。对于部分有肺结节的示意图如下：

常见肺结节示意图

所以在实际检测时，就会有如下四种情况：

(1) 真阳性(True Positive，TP)：检测有结节，且实际有结节；正确肯定的匹配数目；

(2) 假阳性(False Positive，FP)：检测有结节，但实际无结节；误报，给出的匹配是不正确的；

(3) 真阴性(True Negative，TN)：检测无结节，且实际无结节；正确拒绝的非匹配数目；

(4) 假阴性(False Negative，FN)：检测无结节，但实际有结节；漏报，没有正确找到的匹配的数目。

详细图解（原创，转载请标明出处）如下：

更多参数详细信息及其意义请参考 Wikipedia -> [Confusion_matrix](https://en.wikipedia.org/wiki/Sensitivity_and_specificity#Confusion_matrix).

上图中涉及到很多相关概念及参数，详细请见Wiki上的定义及其混淆矩阵（https://en.wikipedia.org/wiki/Sensitivity_and_specificity#Confusion_matrix），这里整理肺结节识别中的几个主要参数指标如下：

• 正确率(Precision)：

• 真阳性率(True Positive Rate，TPR)，灵敏度(Sensitivity)，召回率(Recall)：

• 真阴性率(True Negative Rate，TNR)，特异度(Speci