roc_auc_curve()和auc()结果不一样的问题

已于 2024-02-15 11:24:59 修改
阅读量598 收藏 10
点赞数 10
分类专栏： 机器学习 文章标签： python 机器学习
于 2023-12-03 15:27:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fred114/article/details/134765171
版权

发现了一个问题，以下两种计算auc的结果不一样

import sklearn.metrics as sklm

sklm.roc_auc_score(val_log["label"],val_log["pred_label"])

fpr, tpr, _ = sklm.roc_curve(val_log["label"], val_log["pred_score"])
sklm.auc(fpr, tpr)

第一种在我自己的数据上的结果只有大约0.55，而第二种结果有0.70

仔细查阅文档后第一种的参数事实上是错的，第二个不应该是预测标签而应该是预测分数，但是由于score的范围在0-1之间，这种输入错误不会收到函数的报错，而且在某些情况下(例如模型性能很好或很差)两者计算结果可能非常接近，可参考下图

把第一种计算方法略微修改一下，结果就一样了

sklm.roc_auc_score(val_log["label"],val_log["pred_score"])

居敬行简
关注
  • 10
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AUC（二）：AUC线上线下不一致
AckClinkz的博客
04-23 4998
在实际业务中，经常会出现AUC线上线下不一致的情况。例如，在离线评估中，AUC提升，但线上指标下降。这篇文章参考2013年KDD论文《Predictive Model Performance: Offline and Online Evaluations》，讨论AUC的特性。本文假设读者对二分类模型的评估有基本的了解。关于AUC的基础知识，可参考http。 优势 在工业场景中，AUC常常被用来评价...
ROC与AUC最通俗的解释，准确率，错误率 精准率 召回率，ROC，AUC 的区别和联系
王爷的CSDN
08-24 1万+
前言 本文内容大部分来自于如下两个博客：http://blog.csdn.net/dinosoft/article/details/43114935http://my.oschina.net/liangtee/blog/340317 首先，所有的定义均来自下面的图，一定要理解好。 1 精准率和召回率，通常用在搜索的评价场合。 精准率表示:应该被搜索到的而且实际也搜索出来的...
GridSearchCV ‘roc_auc‘结果和roc_auc_score不一致
VickyVivan的博客
12-03 1857
最近XGBoost调参时发现这个问题，解决后记录一下。 运行结果： 看出GridSearchCV在验证集的AUC得分0.836，和直接用roc_auc_score算出的0.680不一样，后者偏小。原因在于我这里roc_auc_score计算错误，官方文档sklearn.metrics.roc_auc_score中这样说： 正确方法应该是： 这时候就会发现和GridSearchCV在验证集的AUC得分一致了。同样的，如果使用roc_curve + auc, 也需注意这个问题，正确的调用应该是↓
两句话搞懂metrics中roc_auc_score与auc的区别
m0_46414890的博客
04-23 3832
在一般求解AUC时需要求得混沌矩阵 及： metrics中的auc 需要输入已知求得的 fpr 与 tpr 值。 roc_auc_score则是不需要求这两个值，直接将预测概率值和label输入到函数中便可以求得auc值，省略了求这两个值的步骤，由函数本身代求。 这是我找很久的解释博客，才弄明白。 希望能帮助到大家。 ...
多分类下的ROC曲线和AUC
蔡军帅
08-07 1万+
本文主要介绍一下多分类下的ROC曲线绘制和AUC计算，并以鸢尾花数据为例，简单用python进行一下说明。如果对ROC和AUC二分类下的概念不是很了解，可以先参考下这篇文章：http://blog.csdn.net/ye1215172385/article/details/79448575 由于ROC曲线是针对二分类的情况，对于多分类问题，ROC曲线的获取主要有两...
auc.zip_AUC_auc java_roc curve
09-23
AUC（Area Under the Curve）是评估分类模型性能的一个重要指标，特别是在二分类问题中。它基于ROC曲线（Receiver Operating Characteristic Curve），该曲线描述了真阳性率（True Positive Rate, TPR）与假阳性率...
svm.rar_AUC_ROC AUC_ROC和Auc_svm roc_支持向量机
09-24
标题中的"AUC_ROC"和"AUC_SVM"指的是评估分类器性能的两个关键指标。AUC（Area Under the Curve）是ROC曲线下的面积，全称是受试者工作特征曲线（Receiver Operating Characteristic）。ROC曲线描绘了真阳性率（True...
plotroc.rar_AUC_ROC AUC_plotroc_roc_roc and auc
07-14
在机器学习领域，评估分类模型性能的一个重要方法是通过ROC（Receiver Operating Characteristic）曲线以及其对应的AUC（Area Under the Curve）。ROC曲线是衡量二分类模型性能的一种可视化工具，而AUC则是一个综合...
main_roc_python_AUC_PR曲线_ROC曲线_
09-29
标题"main_roc_python_AUC_PR曲线_ROC曲线_"和描述中的关键词涉及到的是使用Python语言进行模型评估时的两个关键指标：ROC曲线（Receiver Operating Characteristic Curve）和PR曲线（Precision-Recall Curve），...
ROC-curve.rar_open_roc_roc_curve
09-24
5. **优缺点**：ROC曲线的优点，如不受数据不平衡的影响，以及可能存在的局限性，如不能直接比较多类分类问题的模型。 6. **与其他评价指标的对比**：可能讨论ROC曲线与其他模型评估指标，如精确度、召回率、F1分数...
predict和predict_proba带入roc_auc_score结果不同
不积跬步无以至千里的博客
05-19 1685
predict和predict_proba带入roc_auc_score结果不同 我们都知道AUC表示ROC曲线下的面积，下面两种计算格式（二分类）： # 带入预测的概率进行计算 roc1=roc_auc_score(y_test, model.predict_proba(x_test)[:, 1]) # 带入预测的分类进行计算 roc2=roc_auc_score(y_test, model.predict(x_test)) 结果是roc2小于roc1 为什么呢？ 如图，ROC是通过将不同thresho
sklearn的roc_curve()函数分析
开飞机的小毛驴儿
05-23 5419
转载自：https://blog.csdn.net/Titan0427/article/details/79356290，本文只做个人记录学习使用，版权归原作者所有。 在用sklearn的roc_curve()函数的时候，发现返回的结果和想象中不太一样，理论上threshold应该取遍所有的y_score（即模型预测值）。但是roc_curve()的结果只输出了一部分的threhold。从源码找到了原因。 初始数据： y_true = [0, 0, 1, 0, 0, 1, 0, 1, 0, 0] y
roc_auc_score()、auc()和roc_curve()
weixin_45010798的博客
10-01 3468
AUC并不总是ROC曲线下的面积。曲线下面积是某个曲线下的(抽象)区域,因此它比AUROC更通用.对于不平衡类,最好找到精确回忆曲线的AUC。roc_curve()：计算fpr, tpr, thresholds。roc_auc_score()：计算AUC的值，即输出的AUC。auc()：计算ROC曲线下的面积.即图中的area。
分类模型评估之ROC-AUC曲线和PRC曲线
热门推荐
皮皮blog
06-30 9万+
http://blog.csdn.net/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...
【机器学习】ROC曲线以及AUC面积的原理（理论+图解）
CSDN 精品推荐
07-08 1万+
  简 介：下面是我在学习时候的记录并加上自己的理解。本文意在记录自己近期学习过程中的所学所得，如有错误，欢迎大家指正。   关键词：Python、机器学习 一、什么是ROC曲线   我们通常说的ROC曲线的中文全称叫做接收者操作特征曲线（receiver operating characteristic curve），也被称为感受性曲线。 该曲线有两个维度，横轴为fpr（假正率），纵轴为tpr（真正率） 准确率（accuracy）：（TP+TN）/ ALL..
roc曲线和auc_roc和auc曲线的初学者指南
weixin_26749843的博客
10-07 1931
roc曲线和auc博客结构(Blog Structure) As can be seen in the title above, the purpose of this blog is to gain a basic but strong fundamental knowledge of ROC and AUC and how they relate to a binary classificat...
java 计算auc_roc_auc_score（）和auc（）的结果不同
weixin_34369521的博客
02-25 725
AUC并不总是ROC曲线下的面积 . 曲线下面积是 some 曲线下的(抽象)区域，因此它比AUROC更通用 . 对于不 balancer 类，最好找到精确回忆曲线的AUC .请参阅 roc_auc_score 的sklearn源：def roc_auc_score(y_true, y_score, average="macro", sample_weight=None):# docstring...
评价分类器性能指标之AUC、ROC
Mr_HHH的博客
03-23 3355
前言曾经面试的时候被问到过这么一个问题，怎么向一个没有任何计算机、数学、统计等基础的人介绍下什么是AUC，当时我败北了。不过后来我有一天顿悟了，为了检验我的顿悟是否有效，特此一答。我给出的答案是 AUC是指 随机给定一个正样本和一个负样本，分类器输出该正样本为正的那个概率值 比 分类器输出该负样本为正的那个概率值 要大的可能性。作者：小小丘链接：https://www.zhihu.com/ques...
roc_auc_score和auc的区别
最新发布
03-30
roc_auc_score和auc都是用来评估分类模型效果的指标，但是它们的计算方法和应用场景略有不同。 ROC曲线（Receiver Operating Characteristic Curve）是一种用于评估二分类模型效果的工具，它是以真正率（True Positive Rate）为纵坐标，假正率（False Positive Rate）为横坐标，绘制出的一条曲线，ROC曲线下的面积被称为AUC（Area Under Curve），AUC值越大，模型的分类效果越好。roc_auc_score就是用来计算AUC值的函数。 而AUC（Area Under Curve）是ROC曲线下的面积，它是一个介于0~1之间的值，AUC越接近1，说明模型的分类效果越好。AUC的计算方法是对ROC曲线下的面积进行积分计算得到的。 因此，roc_auc_score是用来计算AUC值的函数，而AUC是ROC曲线下的面积，是一种用于评估分类模型效果的指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值