ROC曲线,也称受试者工作特征曲线,感受性曲线。用于研究X对于Y的预测准确率情况。
ROC曲线涉及的几个术语名词:
指标:
ROC曲线最初是运用在军事上,当前在医学领域使用非常广泛,因此指标称“阴性”,“阳性”。
名词 | 说明 |
---|---|
特异性 | 阴性人群中,检测出阴性的几率。也称真阴性率。 |
误报率 | 阴性人群中,检测为阳率的几率。也称假阳性率。(1 – 特异性) |
敏感度 | 阳性人群中,检测出阳性的几率。也称真阳性率。 |
假阴性率 | 阳性人群中,检测为阴性的几率,也称假阴性率。 |
ROC曲线意义:
ROC曲线的绘制是对所有测试样本的“误报率”以及“敏感度”绘制曲线。取不同阈值时对每个样本计算的的 “误报率”(假阳)作为X轴坐标,“敏感度”(真阳)作为Y轴坐标。
名词 | 说明 |
---|---|
ROC曲线 | 以1-特异性(即误报率)为X轴,敏感度为Y轴,绘制的曲线。 |
AUC | ROC曲线下的面积,表示预测准确率。越大越好。 |
因为样本的“误报率”(假阳)越小越好,“敏感度”(真阳)越大越好,即X坐标越小越好,Y坐标越大越好,因此绘制的ROC曲线越靠近象限左上角越好。
AUC指标是ROC曲线下的面积。
ROC曲线越靠近左上角,对应的曲线下面积就越大,因此AUC越大,预测效果越好。
AUC是评价二分类模型优劣的一种常用指标。
(分类阈值:分类标准,如阈值=0.5时,大于0.5为正例,小于0.5时为负例)
值 | 评价 |
---|---|
AUC = 1 | 完美分类器,采用这个预测模型时,不管设定什么阈值都能完全预测正确。绝大多数预测的场合,不存在完美分类器。 |
0.5 < AUC < 1 | 优于随机猜测。这个分类器(模型)妥善设定阈值的话,能有预测价值。 |
AUC = 0.5 | 相当于随机猜测(抛硬币),模型没有预测价值。 |
AUC < 0.5 | 比随机猜测还差;但只要总是反预测而行,就优于随机猜测,因此不存在AUC < 0.5的情况 |