ROC曲线简介

受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。为了了解ROC曲线的意义，我们首先得了解一些变量。以下定义引自维基百科Receiver operating characteristic，其中1代表正，0代表负。

condition positive (P)

the number of real positive cases in the data（数据中的所有1）

condition negatives (N)

the number of real negative cases in the data（数据中所有的0）

true positive (TP)

eqv. with hit（被判断为1的1，即1中判断正确的量）

true negative (TN)

eqv. with correct rejection（被判断为0的0，即0中判断正确的量）

false positive (FP)

eqv. with false alarm, Type I error（被判断为1的0，即第一类错误）

false negative (FN)

eqv. with miss, Type II error（被判断为0的1，即第二类错误）

sensitivity, recall, hit rate, or true positive rate (TPR)

fall-out or false positive rate (FPR)

specificity or true negative rate (TNR)

举例来讲，对于一个二分问题，可将实例（case）分成正类（positive）或负类（negative）。如果进行预测，会出现四种情况，即：实例是正类并且也被预测成正类，即为真正类TP（True positive）,实例是负类被预测成正类，称之为假正类FP（False positive）,实例是负类被预测成负类，称之为真负类TN（True negative）,实例是正类被预测成负类，称之为假负类FN（false negative）。列表如下表所示，其中1代表正类，0代表负类

经过上面的说明我们知道，ROC曲线的横坐标和纵坐标其实是没有相关性的，所以不能把ROC曲线当做一个函数曲线来分析，应该把ROC曲线看成无数个点，每个点都代表一个分类器，其横纵坐标表征了这个分类器的性能。为了更好的理解ROC曲线，我们先引入ROC空间，如下图所示。

其中，A,B,C,C'为四个分类器，其工作结果如下：

明显的，C'的性能最好。而B的准确率只有0.5，几乎是随机分类。特别的，图中左上角坐标为（1,0）的点为完美分类点（perfect classification），它代表所有的分类全部正确，即归为1的点全部正确（TPR=1），归为0的点没有错误（FPR=0）。

通过ROC空间，我们明白了一条ROC曲线其实代表了无数个分类器。那么我们为什么常常用一条ROC曲线来描述一个分类器呢？仔细观察ROC曲线，发现其都是上升的曲线（斜率大于0），且都通过点（0,0）和点（1,1）。其实，这些点代表着一个分类器在不同阈值下的分类效果，具体的，曲线从左往右可以认为是阈值从0到1的变化过程。当分类器阈值为0，代表不加以识别全部判断为0，此时TP=FP=0，TPR=TP/P=0，FPR=FR/N=0；当分类器阈值为1，代表不加以识别全部判断为1，此时FN=TN=0，P=TP+FN=TP, TPR=TP/P=1，N=FP+TN=FP, FPR=FR/N=1。所以，ROC曲线描述的其实是分类器性能随着分类器阈值的变化而变化的过程。对于ROC曲线，一个重要的特征是它的面积，面积为0.5为随机分类，识别能力为0，面积越接近于1识别能力越强，面积等于1为完全识别。具体的，可以参考了解ROC曲线下面积，有这篇文章就够了 - 知乎专栏