roc曲线怎么绘制_如何深刻理解 AUC-ROC 曲线

e4d3b3b1e4df4d4d4fde8b39c0bd4979.png

在机器学习中,性能评估是必不可少的任务,因此,当涉及分类问题时,我们可以使用AUC-ROC曲线进行评价,当需要检查或可视化多类分类问题的性能时,我们使用AUC-ROC曲线,这是检查任何分类模型性能的最重要的评估指标之一。它也简写为AUROC。

为了更好地理解,建议您阅读有关混淆矩阵的文章。

该博客旨在回答以下问题:

  1. 什么是AUC-ROC曲线?
  2. AUC和ROC曲线中使用的术语;
  3. 如何推测模型的性能;
  4. 敏感性,特异性,FPR和阈值之间的关系;
  5. 如何将AUC-ROC曲线用于多类模型;

1. 什么是AUC-ROC曲线?

AUC-ROC曲线是针对各种阈值设置下的分类问题的性能度量。ROC是概率曲线,AUC表示可分离的程度或测度,它告诉我们多少模型能够区分类别。AUC越高,模型在将0预测为0,将1预测为1时越好。实例中:AUC越高,该模型在区分有疾病和无疾病的患者中越好。

用TPR相对FPR绘制ROC曲线,其中TPR在y轴上,FPR在x轴上,如图

2e501d9e9d9381315a4e72a6d79f57b9.png

2. 定义AUC和ROC曲线中使用的术语

TPR (真阳性率) / 召回 /敏感度

250fd4b175378b1a2209350f10a2ffcd.png

特异性

91239389a2e874eb07afe5b68d5ed939.png

FPR

a7adf23df5bd19822aeff533fddcd1d4.png

3. 如何推测模型的性能?

出色的模型的AUC接近1,这意味着它具有良好的可分离性度量,较差的模型的AUC接近于0,这意味着它的可分离性度量最差。实际上,这意味着它正在回报结果。它预测0s但其实它是1s,1s但其实它是0s,当AUC为0.5时,表示模型没有类别分离能力。

让我们解释以上陈述: 众所周知,ROC是概率曲线。因此,让我们绘制那些概率的分布

红色分布曲线为阳性(患有疾病的患者) 绿色分布曲线为负级(无病患者)

f988f0d83a075cbb4b17f9043ee2f2dd.png

这是一个理想的情况。当两条曲线完全不重叠时,表示模型具有理想的可分离性度量,完全能够区分正类和负类。

1a30d66088e0fb96c314539d7fc83cc3.png

当两个分布重叠时,我们引入type1和type2类错误,根据阈值,我们可以最小化或最大化它们。当AUC为0.7时,我们可以最小化或最大化它们。当AUC为0.7时,表示模型有70%的机会能够区分阳性类别和阴性类别。

607c355168edcf073b363f553af1d70c.png

当AUC大约为0时,模型实际上使类往复。这意味着,模型将负类预测为正类,反之亦然

5685bfc073ffc3500e7b62b8be074f43.png

4. 敏感度, 特异性, FPR and 阈值

灵敏度和特异性成反比。因此,当我们增加灵敏度时,特异性降低,反之亦然.

45f93a2e67f2a5187a644011836fa173.png

当我们降低阈值时,我们会获得更多的正值,因此会增加灵敏度并降低特异性。 众所周知,FPR是1-特异性。因此,当我们增加TPR时,FPR也会增加,反之亦然

f61c047bd6524b068cf2d6a89a6d8a11.png

5. 如何将AUC ROC曲线用于多类模型

在多类模型中,我们可以使用“一”与“全部”方法绘制N个数类的N个AUC ROC曲线. 例如,如果您有三个名为X,Y和Z的类,则将有一个针对X的Y的ROC归类为Y和Z,另一个针对RO的Y的ROC归类为X和Z,而另一个Z的第三个ROC归类为Y和X

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值