AUC及ROC曲线详解

最新推荐文章于 2024-04-23 17:56:56 发布
最新推荐文章于 2024-04-23 17:56:56 发布
阅读量2.3k 收藏 3
点赞数 1
分类专栏： 机器学习分类模型 文章标签： 机器学习 AUC ROC

AUC及ROC曲线详解

机器学习中分类模型的常用指标

准确率、精确率、召回率、F1-score

TP(True Positive): 真实是正样本，预测结果也是正样本的数量
FN(False Negative): 真实是正样本，预测结果是负样本的数量
TN(True Negative): 真实是负样本，预测结果也是负样本
FP(False Postive): 真实是负样本，预测结果是正样本

准确率(Accuracy)：衡量所有样本被正确分类的比例：
A c c u r a c y = ( T P + T N ) T P + F P + T N + F N Accuracy= \frac{(TP+TN)}{TP+FP+TN+FN} Accuracy=TP+FP+TN+FN(TP+TN)​

精确率(Precision)： 也叫查准率，衡量正样本的分类准确率，就是说倍预测为正样本的样本有多少是真的正样本。
P r e c i s i o n = T P T P + F P Precision= \frac{TP}{TP+FP} Precision=TP+FPTP​
召回率(Recall)： 表示分类正确的正样本占总的分类正确样本的比例
R e c a l l = T P T P + F N Recall= \frac{TP}{TP+FN} Recall=TP+FNTP​
F-1-score： 精确率和召回率的调和平均
2 F 1 = 1 P + 1 R \frac{2}{F1}= \frac{1}{P}+\frac{1}{R} F12​=P1​+R1​
所以
F 1 = 2 P R P + R = 2 T P 2 T P + F P + T N F1=\frac{2PR}{P+R}=\frac{2TP}{2TP+FP+TN} F1=P+R2PR​=2TP+FP+TN2TP​
可以看到，在上式里我们认为精确率和召回率是一样重要的（他们的权重一样），当我们的评估更加注重精确率或者召回率的时候，该怎么处理呢？
我们引入 Fβ ,对于任意的非负值β，我们定义
F β = （ β 2 + 1 ） × P R β 2 × （ P + R ） Fβ=（β^2+1）×\frac{PR}{β^2×（P+R）} Fβ=（β2+1）×β2×（P+R）PR​
可以看到，我们可以通过调整 β 来帮助我们更好地评估结果。

最好的分类器当然是准确率、精确率，召回率都为1，但实际场景中几乎是不可能的，而且精确率和召回率往往会相互影响，一个高了另一个会有所下降，因此在实际应用中要根据具体需求做适当平衡。

ROC曲线和AUC面积

ROC曲线

ROC曲线横坐标是FPR(False Positive Rate)，纵坐标是TPR(True Positive Rate)
F P R = F P F P + T N , T P R = T P T P + F N FPR=\frac{FP}{FP+TN}, TPR=\frac{TP}{TP+FN} FPR=FP+TNFP​,TPR=TP+FNTP​
接下来我们考虑ROC曲线图中的四个点和一条线。第一个点，(0,1)，即FPR=0, TPR=1，这意味着FN（false negative）=0，并且FP（false positive）=0。Wow，这是一个完美的分类器，它将所有的样本都正确分类。第二个点，(1,0)，即FPR=1，TPR=0，类似地分析可以发现这是一个最糟糕的分类器，因为它成功避开了所有的正确答案。第三个点，(0,0)，即FPR=TPR=0，即FP（false positive）=TP（true positive）=0，可以发现该分类器预测所有的样本都为负样本（negative）。类似的，第四个点（1,1），分类器实际上预测所有的样本都为正样本。经过以上的分析，我们可以断言，ROC曲线越接近左上角，该分类器的性能越好。
ROC曲线是由一系列因区分阈值变化产生的点，用于描述二分类模型的判断能力
当我们将threshold设置为1和0时，分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来，就得到了ROC曲线。当threshold取值越多，ROC曲线越平滑
​

AUC面积

AUC（Area Under Curve）被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

  AUC应该理解为对随机取出一个正样本和一个负样本，模型预测正样本为正样本的概率大于预测负样本为正样本的概率的概率值。

可能不太好理解这句话，那我们还是用上面的例子来说明，假设二分类模型A要找到所有正样本，对20个样本的预测概率根据概率值大小得到一个排序，我们希望有尽可能多的正样本排在负样本前面，最好的模型当然是所有的正样本都排在负样本前，但这种分类器要不就是过拟合要不就不存在，当有越多正样本排在负样本前的时候，我们得到的ROC曲线上的点的分布会越靠近y轴（FPR=0）和y=1（TPR=1）这两条线，显然这时候曲线下的面积值(AUC) 会越接近于1，这个时候我们再看上面对AUC的理解这句话，随机取出一个正样本和一个负样本，
如果auc值大，当然会有更多的正样本被更大概率预测准确，负样本被预测为正样本的概率也会越小。
既然已经这么多评价标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化

修仙米迦勒
关注
专栏目录
【机器学习】了解 AUC - ROC 曲线
gongdiwudu的专栏
07-16 3万+
在机器学习中，性能测量是一项基本任务。因此，当涉及到分类问题时，我们可以依靠AUC - ROC曲线。
使用MATLAB绘制ROC曲线：详解及实践
最新发布
m0_57781768的博客
07-27 151
ROC曲线，全称接收者操作特征曲线，是一种图形化表示分类模型在不同阈值下性能的工具。横轴表示假阳性率（False Positive Rate, FPR），纵轴表示真阳性率（True Positive Rate, TPR）。通过绘制ROC曲线，我们可以观察模型在不同阈值下的表现，从而选择最合适的阈值。本文详细介绍了如何使用MATLAB绘制ROC曲线，从ROC曲线的基本概念、数据准备、绘制方法到实际应用，提供了完整的代码示例，并对每一步骤进行了详细的解析。
一文详解 ROC/AUC
xifenglie123321的博客
03-22 1914
AUC(area under the curve)是机器学习领域中一种常见且重要的模型评估标注，表示ROC(receiver operator characteristic)曲线下的面积。今天我们就和大家一起来梳理一下有关ROC/AUC的基本知识。在正式介绍ROC/AUC之前，我们还要再了解几个指标。
ROC和AUC曲线
花开 流年
08-22 504
1、ROC曲线 根据TPR、FPR值，以FPR为横轴，TPR为纵轴画图。 2、利用ROC曲线评价模型性能——AUC(Area Under Curve) 参考链接（可）： https://blog.csdn.net/qq_30992103/article/details/99730059 参考链接（字手写的）： https://blog.csdn.net/sunflower_sara/article/details/81214897?utm_medium=distribute.pc_relevant.no
AUC-ROC曲线
ywm_up
11-11 309
在机器学习中，性能评估是必不可少的任务，因此，当涉及分类问题时，我们可以使用AUC-ROC曲线进行评价，当需要检查或可视化多类分类问题的性能时，我们使用AUC-ROC曲线，这是检查任何分类模型性能的最重要的评估指标之一。 1. 什么是AUC-ROC曲线？ AUC-ROC曲线是针对各种阈值设置下的分类问题的性能度量。ROC是概率曲线，AUC表示可分离的程度或测度，它告诉我们多少模型能够区分类别。 用TPR相对FPR绘制ROC曲线，其中TPR在y轴熵，FPR在x轴上，如图： AUC值就是ROC曲线下的面积（灰
ROC曲线和AUC
m0_56945333的博客
04-19 1300
ROC曲线（Receptive Operating Characteristic，接受者工作曲线）和AUC（area under the curve，特指ROC曲线下的面积）通常用于评价一个二分类的优劣。AUC指标可以有两种解释 传统的曲线下面积 AUC=P(P正>P负)AUC = P(P_{正} > P_{负})AUC=P(P正​>P负​)。例如0.7的AUC可以表示，在70%的情况下，模型对正样本的打分高于负样本。 ROC曲线的纵坐标是真阳率（TPR），横坐标是假阳率（FPR）
ROC曲线与AUC
芋泥啵啵月亮的博客
03-01 274
ROC(Receiver Operating Characteristic) ROC为受试者工作特征曲线，是一种度量二分类性能的指标。 TPR（真正率） ☞所有正例中，分类正确的比例 FPR（假正率） ☞所有负例中，分类错误的比例 ROC曲线即为以FPR为横轴，TPR为纵轴绘制的曲线。 AUC(Area Under Curve) AUC表示绘制一条曲线的曲线下的面积。 ROC-AUC曲线表征了一个模型对正负例的区分能力，越接近1表示模型越好，值为0时表示正好判断相反你，将1判为0，将0判为1。值为0.5时表
一文彻底搞懂ROC曲线与AUC的概念
ibelieve8013的博客
06-15 1万+
一文彻底搞懂ROC曲线与AUC的概念1. ROC曲线的初级含义1.1 精确率和召回率1.2 ROC曲线的含义2. ROC曲线如何绘制3. ROC曲线和排序有什么关联？4. AUC和基尼系数有什么纠葛？ 1. ROC曲线的初级含义 要了解ROC的含义，必须先搞懂混淆矩阵的含义，以及精确率、召回率的含义。 1.1 精确率和召回率 对于一个分类任务的测试集，其本身有正负两类标签，我们对于这个测试集有一个预测标签，也是正负值。对于这些样本，我们的预测是否正确？有可能正样本我们预测成了负样本，负样本我们预测成了正样本
AUC、ROC详解：原理、特点&算法
Viking的博客
09-06 3491
前言 接收者操作特征曲线（ROC）可以用来对分类器的表现可视化，可以依据分类器在ROC上的表现来选择最终的模型。 分类性能TP、FP、TN、FN 以二分类问题为例，每个实例I将会被映射到正例和负例上{p，n}。模型会将每个实例一个预测结果，结果可能是连续的，也可能是离散的；对于连续的结果，需要根据阈值再进行分类。为了和分类标签区分，我们使用{Y，N}表示每个样本的预测结果。 给定一个分类器和一个样本，会有4个输出。如果样本是正例而且被预测为正例，则归为TP；如果被预测为负例，则归为FN；如果样本是负例而且被
数据挖掘-分类器的ROC曲线及相关指标（ROC、AUC、ACC）详解
身披白袍的博客
09-19 2万+
ROC曲线，常常与二分类问题及两类错误率相关。
推荐系统之ROC和AUC详解
qq_38375203的博客
07-21 2635
这个绝对是重量级内容了，也是很基础的东西。对于模型来讲，不同的阈值会有不同的泛化能力，这时候，如果想比较两个模型的泛化能力，这个阈值的高低也会受到影响，所以就需要能够综合考虑着所有阈值下的模型的泛化性能，这样还可以使得模型适应与不同的任务，那这时候应该怎么评估模型呢？ROC曲线是常用的工具。在这里和我们前面说过的PR曲线是类似的（mAP）,但是在之前的PR曲线中横纵坐标是查准率和查全率。目标检测指标mAP详解。............
ROC和AUC
weixin_66547608的博客
04-23 1937
ROC曲线（Receiver Operating Characteristic curve）和AUC（Area Under the Curve）是用于评估二分类模型性能的重要工具。 ROC曲线以真正例率（True Positive Rate，也称为召回率或灵敏度）为纵轴，假正例率（False Positive Rate）为横轴，展示了模型在不同阈值下的分类表现。ROC曲线越靠近左上角，表示模型性能越好，因为此时真正例率较高而假正例率较低。 AUC是ROC曲线下方的面积，用于量化模型的分类性能。AUC的取
AUC计算方法总结
热门推荐
pzy20062141的专栏
09-24 12万+
1.  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和。这样，我们先把score排序(假设score越大，此样本属于正类的概率越大)，然后一边扫描就可以得到我们想要
干货 | 一文完全理解AUC-ROC曲线
小白学视觉
05-03 5460
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 来源： https://towardsdatascience.com/understanding-auc-roc-curve-68b2303cc9c5 翻译：石头 ...
什么是AUC曲线
Kp0fS的草稿纸
10-31 742
什么是AUC曲线 参考资料：
ROC与AUC
huoxingdeshidai6的博客
05-22 812
1、ROC、AUC概念介绍 2、ROC曲线绘制原理 3、ROC的曲线面积AUC 4、ROC曲线优点 1、ROC、AUC概念介绍 ROC的全名叫做Receiver Operating Characteristic，其主要分析工具是一个画在二维平面上的曲线——ROC curve。平面的横坐标是false positive rate(FPR)，纵坐标是true positive rate...
roc与auc曲线的理解
ningyanggege的博客
07-06 1136
roc：专业术语称为“受试者工作特征”（Receiver Operating Characteristic)曲线；它是真正例与假正例比值；首先后面两字“正例”就代表预测结果全为正值，前面的第一个字就代表预测是否准确，有预测正确的，也有预测错误的；以股票预测为例：比如说预测hs300第二天上涨的股票，预测了某100支股票要上涨，而实际上涨了200，而真正预测准确的只80只；而下跌的股票有100，将下...
ROC曲线及AUC值
林景的博客
09-12 4922
ROC曲线 参考文献：【ROC曲线与AUC值】 1. 介绍及引入 ROC的全名叫做Receiver Operating Characteristic，其主要分析工具是一个画在二维平面上的曲线——ROC curve。 平面的横坐标是false positive rate(FPR)，即假阳性率（1−Sp1-Sp1−Sp）； 纵坐标是true positive rate(TPR)，即真阳性率（SnSnSn）。 对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对。这样，此分类器就可以映射成
Python ROC曲线教程：二分类与多分类实现详解
AUC (Area Under the Curve) 是ROC曲线下的面积，AUC值越接近1，模型性能越好。通过调整模型的阈值，可以在精确率和召回率之间找到一个最优平衡点。 对于多分类问题，虽然每个类别有自己的ROC曲线，但通常我们使用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值