我佛了，我今天才搞懂ROC和AUC

已于 2022-08-18 00:27:42 修改
阅读量1.3k 收藏 4
点赞数 3
分类专栏： 机器学习轮子实现 文章标签： python 机器学习 numpy
于 2022-08-18 00:18:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HaoZiHuang/article/details/126396411
版权

ROC: 接收者操作特征曲线(receiver operating characteristic curve)，是反映敏感性和特异性连续变量的综合指标，roc曲线上每个点反映着对同一信号刺激的感受性。

“上边儿那个说tm什么玩意儿啊…”，我也是这样想的，先跳过这个概念，强制告诉自己当前情况下，ROC曲线就是 TP率和FP率连成的曲线

AUC (Area Under Curve) 被定义为ROC曲线下的面积

我先给一个手算的Python代码，中间也有调库的
也不算完全手算的，阈值thresholds 是调库获得的
如果你真想完全搞懂到底怎么算的，建议直接单步debug

roc_curve 用于计算ROC曲线的每个点的坐标，以及对应的阈值
roc_auc_score 用于计算AUC，也就是ROC曲线下的面积

import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve
from sklearn.metrics import roc_auc_score

# 固定随机数种子，以使得每次都一样
np.random.seed(1107)

# 编一些数据实例
y_true = np.random.randint(2, size=(100,), dtype="bool")
y_score = np.random.random(size=(100,))

# 按照概率小大排序
order = y_score.argsort()
y_true  = y_true[order]
y_score = y_score[order]


fpr, tpr, thresholds = roc_curve(y_true, y_score)
roc_auc = roc_auc_score(y_true, y_score)
print(roc_auc)


# 我自己算一遍
# 随着阈值改变，有多少真的正例被找出来了
tpr_list = []
for th in thresholds:
    curr_true = (y_score >= th) & y_true
    fenzi  = curr_true.sum()
    fenmu  = y_true.sum()
    tpr_list.append( fenzi / fenmu )
tpr_array = np.array(tpr_list)
tpr_bool = (tpr == tpr_array).all()
print("[tpr]正确: ", tpr_bool)


# 随着阈值改变，假阳性率的变化
fpr_list = []
for th in thresholds:
    curr_false = (y_score >= th) & ~y_true # 将被当做正例的负例拿出来
    fenzi  = curr_false.sum()
    fenmu  = (~y_true).sum()
    fpr_list.append( fenzi / fenmu )
fpr_array = np.array(fpr_list)
fpr_bool = (fpr == fpr_array).all()
print("[fpr]正确: ", fpr_bool)


y_delta = np.diff(tpr)
x_delta = (1 - fpr)[:-1]
auc = (y_delta * x_delta).sum()
print("[AUC]计算正确: ", abs(auc-roc_auc) < 10e-6)


# ROC 曲线, 注意横坐标是 fpr
plt.scatter(fpr, tpr, c="red", s=2)
plt.plot(fpr, tpr)
plt.show()

请添加图片描述
ROC曲线横轴是FP率，纵轴的TP率，写程序绘制ROC曲线时要注意fpr, tpr的顺序是这样，别反了

plt.plot(fpr, tpr)

当年看ROC曲线时，我死活搞不懂，TP率和FP率怎么会变? 那个玩意儿你的模型算出来之后，不是已经定死了么???

假如问题是二分类，要么 T r u e True True，要么 F a l s e False False，然而实际上大部分模型的输出都是是 T r u e True True的概率 P T r u e P_{True} PTrue​， P F a l s e = 1 − P T r u e P_{False}=1-P_{True} PFalse​=1−PTrue​，除了SVM，SVM只能知道他是正例还是负例，无法知道模型返回的置信度

然而，有一个参数——阈值 v a l val val，来判断一个实例到底是 T r u e True True 还是 F a l s e False False. 所以我们只要让 v a l val val取遍 [ 0 , 1 ] [0, 1] [0,1]的每一个数值，将对应的 ( F P 率 , T P 率 ) (FP率, TP率) (FP率,TP率) 记录下来，并标到图上，即可获得ROC曲线

然而，实际上无需取遍 [ 0 , 1 ] [0, 1] [0,1]中每一个值，我们只需要取上图中直角处的点，就是那个红点，因为相邻红点之间，要么FP率不变，要么TP率不变，也就是两个相邻红点之间，一定是直线
这样的话，可以简化计算了

我们可以调库，查看变量thresholds打印出来是啥：

>>> thresholds
[1.95765094 0.95765094 0.94528669 0.93034073 0.92842689 0.92657479
 0.92291242 0.88343102 0.8810227  0.87744016 0.866908   0.85125653
 0.83371683 0.83208944 0.83117887 0.82556135 0.80705162 0.78068904
 0.77402651 0.73445252 0.720276   0.69508259 0.67662352 0.66001852
 0.63959376 0.62050148 0.61896561 0.59506313 0.57218685 0.54372382
 0.52248361 0.47770536 0.47321275 0.45847792 0.39694008 0.39243611
 0.38743406 0.38383452 0.37590903 0.35305426 0.34275677 0.33935575
 0.31265543 0.28883676 0.25477464 0.24504649 0.2295074  0.22739724
 0.22488244 0.21834767 0.20485498 0.16979291 0.16073303 0.11951154
 0.10385017 0.07318998 0.06647717 0.06036329 0.04527814 0.01842294
 0.01553236]

这些数字是不是有些眼熟呢，来看看这个：

>>> y_score[::-1]
[0.95765094 0.95399522 0.9471417  0.94528669 0.93034073 0.92842689
 0.92657479 0.92522284 0.92291242 0.91543346 0.91397315 0.90965487
 0.90470366 0.88343102 0.8810227  0.87744016 0.866908   0.85821269
 0.85665705 0.85125653 0.83371683 0.83300306 0.83208944 0.83117887
 0.82556135 0.82274304 0.81484892 0.80705162 0.78378691 0.78068904
 0.77402651 0.76804603 0.73851392 0.73445252 0.720276   0.70781191
 0.69508259 0.69000823 0.67662352 0.66001852 0.65615672 0.64420724
 0.63959376 0.62050148 0.61896561 0.59506313 0.57218685 0.55803978
 0.54372382 0.52248361 0.49487794 0.49375354 0.47770536 0.47321275
 0.45847792 0.40366396 0.40161891 0.39694008 0.39243611 0.38743406
 0.38383452 0.37590903 0.36949194 0.3685802  0.36168261 0.35305426
 0.34275677 0.33935575 0.31265543 0.28883676 0.28117519 0.2734256
 0.26876038 0.25477464 0.24504649 0.2295074  0.22739724 0.22542905
 0.22488244 0.21834767 0.20485498 0.17463156 0.17237376 0.16979291
 0.16073303 0.1575529  0.1450476  0.11951154 0.10385017 0.07318998
 0.06647717 0.06605309 0.06036329 0.047198   0.04527814 0.04075525
 0.02959499 0.02274728 0.01842294 0.01553236]

thresholds 中有两个要说的点：

  • thresholds 中的大部分数字来自 y_score ，因为有些 thresholds 即使取了 y_score 中的某个值，也不会使ROC曲线产生直角，也就是说：若 y_score 某个值当做阈值，无法使ROC曲线产生直角，那他也不会被加入到 thresholds 变量中，可以说 ：thresholds 变量是经过简化版的 y_score 变量

  • 除了 thresholds[0] 这个数，其余数字都是 y_score 中的数，我也不太清楚 thresholds[0]=1.95765094 这个数字哪里来的，但是他大于1，会使得FP率和TP率都为0

另外，再补充一下，我的AUC是这样计算的：
一横条面积一横条面积不断的加起来的
在这里插入图片描述
顺便说下这两句代码：

>>> fpr, tpr, thresholds = roc_curve(y_true, y_score)
>>> roc_auc = roc_auc_score(y_true, y_score)

>>> y_true
[ True False False False False  True  True False False  True False  True
 False False False  True False False False  True False  True  True False
  True False  True  True  True  True False  True False  True False False
 False False  True False  True False  True  True  True False  True False
 False False  True False False  True False  True False  True  True  True
 False  True  True False False  True False False False  True False False
  True  True  True False  True False False  True False False False  True
 False  True False False False False False  True  True False  True False
  True  True  True  True]
  
>>> y_score
[0.01553236 0.01842294 0.02274728 0.02959499 0.04075525 0.04527814
 0.047198   0.06036329 0.06605309 0.06647717 0.07318998 0.10385017
 0.11951154 0.1450476  0.1575529  0.16073303 0.16979291 0.17237376
 0.17463156 0.20485498 0.21834767 0.22488244 0.22542905 0.22739724
 0.2295074  0.24504649 0.25477464 0.26876038 0.2734256  0.28117519
 0.28883676 0.31265543 0.33935575 0.34275677 0.35305426 0.36168261
 0.3685802  0.36949194 0.37590903 0.38383452 0.38743406 0.39243611
 0.39694008 0.40161891 0.40366396 0.45847792 0.47321275 0.47770536
 0.49375354 0.49487794 0.52248361 0.54372382 0.55803978 0.57218685
 0.59506313 0.61896561 0.62050148 0.63959376 0.64420724 0.65615672
 0.66001852 0.67662352 0.69000823 0.69508259 0.70781191 0.720276
 0.73445252 0.73851392 0.76804603 0.77402651 0.78068904 0.78378691
 0.80705162 0.81484892 0.82274304 0.82556135 0.83117887 0.83208944
 0.83300306 0.83371683 0.85125653 0.85665705 0.85821269 0.866908
 0.87744016 0.8810227  0.88343102 0.90470366 0.90965487 0.91397315
 0.91543346 0.92291242 0.92522284 0.92657479 0.92842689 0.93034073
 0.94528669 0.9471417  0.95399522 0.95765094]

y_true 和 y_score 的shape都是 (n,)，(二分类是这样的，多类的暂时不知道…)

y_true 是每个类别
y_score 是类别为 True 的概率

还不懂的话，可以参考这俩篇，我的氵文大多是方便我自己记录和理解，请海涵：

https://blog.csdn.net/u014264373/article/details/80487766
https://www.deeplearn.me/1522.html

氵文大师
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ROC和AUC的原理及AUC计算方法
lzhfcao的博客
10-10 2575
1.非均衡分类问题 在大多数情况下不同类别的分类代价并不相等，即将样本分类为正例或反例的代价是不能相提并论的。例如在垃圾邮件过滤中，我们希望重要的邮件永远不要被误判为垃圾邮件，还有在癌症检测中，宁愿误判也不漏判。在这种情况下，仅仅使用分类错误率来度量是不充分的，这样的度量错误掩盖了样例如何被错分的事实。所以，在分类中，当某个类别的重要性高于其他类别时，可以使用Precison和Rec...
利用Python画ROC曲线和AUC值计算
12-23
这篇文章将先简单的介绍ROC和AUC，而后用实例演示如何python作出ROC曲线图以及计算AUC。 AUC介绍 AUC(Area Under Curve)是机器学习二分类模型中非常常用的评估指标，相比于F1-Score对项目的不平衡有更大的容忍性，...
机器学习模型效果之Roc、Auc
WangYouJin321的博客
01-16 531
ROC曲线。 其定义是：接收者操作特性曲线(receiver operating characteristic curve),它通过将连续变量设定出多个不同的临界值，从而计算出一系列真正率和假正率，再以假正率为纵坐标、真正率为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近坐标图左上方的点为假正率和真正率均较高的临界值。 ROC关注两个指标 True Positive Ra...
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
最新发布
算法金「全网同名」的博客
06-11 1138
ROC 曲线，即接收者操作特征曲线，ROC曲线产生于第二次世界大战期间，最早用在信号检测领域，侦测战场上的敌军载具（飞机、船舰）。现在是是用来评价二分类模型性能的常用图形工具。它通过显示真阳性率（True Positive Rate，简称 TPR）与假阳性率（False Positive Rate，简称 FPR）之间的权衡来帮助我们理解模型的分类能力。AUC，即曲线下面积（Area Under Curve），是 ROC 曲线下面积的一个数值表示。它提供了一个定量的指标，用来衡量分类模型的整体表现。
roc_auc_score()、auc()和roc_curve()
weixin_45010798的博客
10-01 3473
AUC并不总是ROC曲线下的面积。曲线下面积是某个曲线下的(抽象)区域,因此它比AUROC更通用.对于不平衡类,最好找到精确回忆曲线的AUC。roc_curve()：计算fpr, tpr, thresholds。roc_auc_score()：计算AUC的值，即输出的AUC。auc()：计算ROC曲线下的面积.即图中的area。
两句话搞懂metrics中roc_auc_score与auc的区别
m0_46414890的博客
04-23 3834
在一般求解AUC时需要求得混沌矩阵 及： metrics中的auc 需要输入已知求得的 fpr 与 tpr 值。 roc_auc_score则是不需要求这两个值，直接将预测概率值和label输入到函数中便可以求得auc值，省略了求这两个值的步骤，由函数本身代求。 这是我找很久的解释博客，才弄明白。 希望能帮助到大家。 ...
GridSearchCV ‘roc_auc‘结果和roc_auc_score不一致
VickyVivan的博客
12-03 1859
最近XGBoost调参时发现这个问题，解决后记录一下。 运行结果： 看出GridSearchCV在验证集的AUC得分0.836，和直接用roc_auc_score算出的0.680不一样，后者偏小。原因在于我这里roc_auc_score计算错误，官方文档sklearn.metrics.roc_auc_score中这样说： 正确方法应该是： 这时候就会发现和GridSearchCV在验证集的AUC得分一致了。同样的，如果使用roc_curve + auc, 也需注意这个问题，正确的调用应该是↓
ROC和AUC计算， sklearn.metrics roc_curve、precision_recall_curve、auc、roc_auc_score，多标签分类ROC曲线绘制
qq_41021141的博客
07-27 1435
ROC和AUC计算， sklearn.metrics roc_curve、precision_recall_curve、auc、roc_auc_score，多标签分类ROC曲线绘制
svm.rar_AUC_ROC AUC_ROC和Auc_svm roc_支持向量机
09-24
总的来说，这个工具为研究者和开发者提供了一个方便的平台，用于快速评估支持向量机在二分类任务上的性能，通过AUC和ROC曲线的可视化，帮助他们更好地理解模型的工作机制，并据此进行模型调优。
auc.zip_AUC_auc java_roc curve
09-23
在Java编程环境下，我们可以使用各种库来计算和绘制ROC曲线以及对应的AUC值。 1. **什么是AUC**： AUC是ROC曲线下的面积，表示模型区分正负样本的能力。如果模型完全随机，AUC将接近0.5；而一个完美的分类器，AUC...
plotroc.rar_AUC_ROC AUC_plotroc_roc_roc and auc
07-14
在机器学习领域，评估分类模型性能的一个重要方法是通过ROC（Receiver Operating Characteristic）曲线以及其对应的AUC（Area ...在实际工作中，结合ROC曲线和AUC，我们可以更全面地评估和比较不同的机器学习模型。
sklearn下的ROC与AUC原理详解
vincent_duan的专栏
12-10 2157
ROC全称Receiver operating characteristic。 定义 TPR：true positive rate，正样本中分类正确的比率，即TP/(TP+FN)，一般希望它越大越好 FPR：false negtive rage，负样本中分类错误的比率，即FP/(FP+TN)，一般希望它越小越好 ROC曲线：以FPR作为X轴，TPR作为y轴 roc_curve函数的原理及计算方式 要作ROC曲线，需要计算FPR及对应的TPR。 对于一个给定的预测概率，设定不同的阈值，预测结果会不一样。例如我
机器学习基础---分类评价指标---ROC/AUC
xys430381_1的专栏
11-02 2179
分类模型评估： 指标 描述 Scikit-learn函数 Precision 精准度 from sklearn.metrics import precision_score Recall 召回率 from sklearn.metrics import recall_score F1 F1值 from sklearn.metrics import f1_score Confusion...
机器学习评价指标 ROC与AUC 的理解和python实现
张渊猛的博客
08-15 2万+
本文所讲内容的前提是一个二分类的任务，多分类任务可以经过简单扩展用转化成二分类。 评估一个二分类的分类器的性能指标有：准确率、查准率（precision）、查全率（recall）、F1值以及ROC和AUC等。前面几个比较直观，而ROC和AUC相对抽象一点，本文将重点放在后者。因为本文曾一度没搞清ROC，所以这次彻底搞明白。 从混淆矩阵说起 首先一个用分类器预测完后，我们会得到一个二分类的混淆...
分类回归模型评估常见方法及ROC AUC
sereasuesue的博客
10-06 5885
目录 模型评估常见方法 ROC和AUC定义 sklearn计算ROC具体实现 计算ROC需要知道的关键概念 1. 分析数据 2. 针对score，将数据排序 3. 将截断点依次取为score值 3.1 截断点为0.1 sklearn.metrics中的评估方法介绍 模型评估常见方法 分类模型评估： 指标 描述 Scikit-learn函数 Precision 精准度 from sklearn.metrics import precision_score
sklearn.metrics中的roc_auc_score理解以及使用
热门推荐
yrk0556的博客
12-04 3万+
import numpy as np from sklearn import metrics import matplotlib.pyplot as plt label=np.array([1,1,-1,-1]) scores=np.array([0.7,0.2,0.4,0.5]) fpr,tpr,thresholds=metrics.roc_curve(label,scores) print('FPR:',fpr) print('TPR:',tpr) print('thresholds:',thresho
分类评估方法：精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。
あずにゃん梓喵的博客
08-10 2074
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 3.4 分类评估方法 1.分类评估方法 1.1 精确率与召回率 1.1.1 混淆矩阵 在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)...
sklearn评分函数roc_auc_score和f1_score中参数average的说明
hxhabcd123的博客
02-26 2654
本文记录在python第三方库sklearn的两个评分函数 sklearn.metrics.roc_auc_score（计算AUC） 和 sklearn.metrics.f1_score（计算F1）中的参数“average”的几种方式。
使用scikit-learn计算分类器的ROC曲线及AUC值
胖胖大海的博客
06-13 1万+
在前面的博客中介绍了使用scikit-learn绘制分类器的学习曲线，今天介绍一下使用scikit-learn绘制分类器的ROC曲线，以及计算AUC的值。 ROC曲线主要用于衡量二分类器的性能，当正负样本不均衡时，准确率和召回率不能合理度量分类器的性能。关于ROC曲线和AUC的计算scikit-learn工具包中主要提供了以下几个函数： 1、roc_curve函数（只能用于二分类）：根据模型预测结果（概率，置信度等）和样本真实标签，按照模型预测结果降序排序依次选择阈值，基于阈值计算fpr、tpr，基于f
roc_auc和auc_roc区别
06-09
实际上，roc_auc和auc_roc是同一个指标，都是用来评估二分类模型性能的指标。ROC (Receiver Operating Characteristic) 曲线是反映分类模型在不同阈值下的真正例率 (TPR) 与假正例率 (FPR) 之间的关系曲线，AUC (Area Under Curve) 则是 ROC 曲线下的面积大小。因此，roc_auc和auc_roc都是表示 ROC 曲线下的面积大小，只不过表述顺序不同而已。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值