ROC曲线与AUC指标理解

ROC曲线，也称受试者工作特征曲线，感受性曲线。用于研究X对于Y的预测准确率情况。

ROC曲线涉及的几个术语名词：

指标：

ROC曲线最初是运用在军事上，当前在医学领域使用非常广泛，因此指标称“阴性”，“阳性”。

名词	说明
特异性	阴性人群中，检测出阴性的几率。也称真阴性率。
误报率	阴性人群中，检测为阳率的几率。也称假阳性率。（1 – 特异性）
敏感度	阳性人群中，检测出阳性的几率。也称真阳性率。
假阴性率	阳性人群中，检测为阴性的几率，也称假阴性率。

ROC曲线意义：

ROC曲线的绘制是对所有测试样本的“误报率”以及“敏感度”绘制曲线。取不同阈值时对每个样本计算的的 “误报率”（假阳）作为X轴坐标，“敏感度”（真阳）作为Y轴坐标。

名词	说明
ROC曲线	以1-特异性（即误报率）为X轴，敏感度为Y轴，绘制的曲线。
AUC	ROC曲线下的面积，表示预测准确率。越大越好。

因为样本的“误报率”（假阳）越小越好，“敏感度”（真阳）越大越好，即X坐标越小越好，Y坐标越大越好，因此绘制的ROC曲线越靠近象限左上角越好。

AUC指标是ROC曲线下的面积。

ROC曲线越靠近左上角，对应的曲线下面积就越大，因此AUC越大，预测效果越好。

AUC是评价二分类模型优劣的一种常用指标。
（分类阈值：分类标准，如阈值=0.5时，大于0.5为正例，小于0.5时为负例）

值	评价
AUC = 1	完美分类器，采用这个预测模型时，不管设定什么阈值都能完全预测正确。绝大多数预测的场合，不存在完美分类器。
0.5 < AUC < 1	优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC = 0.5	相当于随机猜测（抛硬币），模型没有预测价值。
AUC < 0.5	比随机猜测还差；但只要总是反预测而行，就优于随机猜测，因此不存在AUC < 0.5的情况

机器学习中的ROC曲线

机器学习中的ROC曲线与AUC指标理解与实现