ROC曲线：接收者操作特征曲线

接收者操作特征曲线（receiver operating characteristic curve，或者叫ROC曲线）

在做决策时，ROC分析能不受成本／效益的影响，给出客观中立的建议

分类模型（又称分类器，或诊断）是将一个实例映射到一个特定类的过程。

二元分类模型的个案预测有四种：
这四种结局可以画成2 × 2的混淆矩阵：

ROC空间

ROC空间将伪阳性率（FPR）定义为 X 轴，真阳性率（TPR）定义为 Y 轴。

• TPR：在所有实际为阳性的样本中，被正确地判断为阳性之比率。
  
  $$(TPR=TP/(TP+FN)$$
• FPR：在所有实际为阴性的样本中，被错误地判断为阳性之比率。
  $$(FPR=FP/(FP+TN)$$
  给定一个二元分类模型和它的阈值，就能从所有样本的（阳性／阴性）真实值和预测值计算出一个 (X=FPR, Y=TPR) 座标点.
  
  从 (0, 0) 到 (1,1) 的对角线将ROC空间划分为左上／右下两个区域，在这条线的以上的点代表了一个好的分类结果（胜过随机分类），而在这条线以下的点代表了差的分类结果（劣于随机分类）。
  
  完美的预测是一个在左上角的点，在ROC空间座标 (0,1)点，X=0 代表着没有伪阳性，Y=1 代表着没有伪阴性（所有的阳性都是真阳性）；也就是说，不管分类器输出结果是阳性或阴性，都是100%正确。一个随机的预测会得到位于从 (0, 0) 到 (1, 1) 对角线（也叫无识别率线）上的一个点
  

对于预测结果比较低的，只要取反，就可以得出比较好的结果

ROC曲线

同一个二元分类模型的阈值可能设定为高或低，每种阈值的设定会得出不同的FPR和TPR。

1. 由于每个不同的分类器有各自的测量标准和测量值的单位，所以不同分类器的“分布图”都长得不一样
2. 比较不同分类器时，ROC曲线的实际形状，便视两个实际分布的重叠范围而定，没有规律可循
3. 但在同一个分类器之内，阈值的不同设定对ROC曲线的影响，仍有一些规律可循：
   

阈值设定为最高时，亦即所有样本都被预测为阴性，没有样本被预测为阳性，此时在伪阳性率 FPR = FP / ( FP + TN ) 算式中的 FP = 0，所以 FPR = 0%。同时在真阳性率（TPR）算式中， TPR = TP / ( TP + FN ) 算式中的 TP = 0，所以 TPR = 0%

→ 当阈值设定为最高时，必得出ROC座标系左下角的点 (0, 0)。

当阈值设定为最低时，亦即所有样本都被预测为阳性，没有样本被预测为阴性，此时在伪阳性率FPR = FP / ( FP + TN ) 算式中的 TN = 0，所以 FPR = 100%。同时在真阳性率 TPR = TP / ( TP + FN ) 算式中的 FN = 0，所以 TPR=100%

→ 当阈值设定为最低时，必得出ROC座标系右上角的点 (1, 1)。

因为TP、FP、TN、FN都是累积次数，TN和FN随着阈值调低而减少（或持平），TP和FP随着阈值调低而增加（或持平），所以FPR和TPR皆必随着阈值调低而增加（或持平）。

→ 随着阈值调低，ROC点 往右上（或右／或上）移动，或不动；但绝不会往左下(或左／或下)移动。

AUC(曲下面积)

ROC曲线下方的面积（英语：Area under the Curve of ROC (AUC ROC)），其意义是：

• 因为是1x1的方格里求面积，AUC必在0~1之间。
• 假设阈值以上是阳性，以下是阴性；
• 若随机抽取一个阳性样本和一个阴性样本，分类器正确判断阳性样本的值高于阴性样本之机率=AUC
• 简单说：AUC值越大的分类器，正确率越高。
  从AUC判断分类器（预测模型）优劣的标准：
• AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。
• 0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
• AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
• AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。