auc到多少有意义_模型评估指标AUC和ROC，这是我看到的最透彻的讲解

最新推荐文章于 2023-03-08 12:00:09 发布
最新推荐文章于 2023-03-08 12:00:09 发布
阅读量2.2k 收藏
点赞数
文章标签： auc到多少有意义
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39940154/article/details/114161020
版权
本文深入解析AUC（ROC曲线下的面积）作为机器学习模型评估指标的含义与价值。从混淆矩阵出发，解释ROC曲线的形成过程，讨论不同ROC点的意义，并阐述AUC衡量正例排在负例前面的概率，以及其在处理样本不平衡问题上的优势。
摘要由CSDN通过智能技术生成

摘要171244598_1_20190917091407316原文链接：

blog.csdn.net/liweibin1994/article/details/79462554

编辑：zglg

AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵，因此，我们先从混淆矩阵开始谈起。混淆矩阵假设，我们有一个任务：给定一些患者的样本，构建一个模型来预测肿瘤是不是恶性的。在这里，肿瘤要么良性，要么恶性，所以这是一个典型的二分类问题。

假设我们用y=1表示肿瘤是良性，y=0表示肿瘤是恶性。则我们可以制作如下图的表格：如上图，TP表示预测为良性，而实际也是良性的样例数；

FN表示预测为恶性，而实际是良性的样例数；

FP表示预测为良性，而实际是恶性的样例数；

TN表示预测为恶性，而实际也是恶性的样例数；

所以，上面这四个数就形成了一个矩阵，称为混淆矩阵。

那么接下来，我们如何利用混淆矩阵来计算ROC呢？

首先我们需要定义下面两个变量：TPR表示，在所有良性肿瘤中，被预测为良性的比例。称为真阳性率。真阳性率告诉我们，随机拿一个良性的肿瘤样本时，有多大的概率会将其预测为良性肿瘤。显然我们会希望TPR越大越好。

如果以FPR为横坐标，TPR为纵坐标，就可以得到下面的坐标系：171244598_5_20190917091407519可能看到这里，你会觉得有点奇怪，用FPR和TPR分别作横纵坐标有什么用呢？我们先来考察几个特殊的点。

点(0,1)&#x

最低0.47元/天 解锁文章
weixin_39940154
关注
ROC曲线及AUC值
林景的博客
09-12 4945
ROC曲线 参考文献：【ROC曲线与AUC值】 1. 介绍及引入 ROC的全名叫做Receiver Operating Characteristic，其主要分析工具是一个画在二维平面上的曲线——ROC curve。 平面的横坐标是false positive rate(FPR)，即假阳性率（1−Sp1-Sp1−Sp）； 纵坐标是true positive rate(TPR)，即真阳性率（SnSnSn）。 对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对。这样，此分类器就可以映射成
AUC和ROC曲线的前世今生
08-23 1668
AUC数值即为ROC曲线下的面积。ROC曲线从0点开始上升越快，说明模型错分正样本的比例越小，模型对正样本识别的能力越强。在ROC曲线的基础上，抛开阈值的调节，ROC曲线下半部分的面积值就是AUC值。AUC值介于0到1之间，是一种概率值。本质上AUC是在模型预测的数据集中，比较正负样本，评估正样本分数排在负样本之上的能力，进而估计模型对正样本预测的可信程度。 由于AUC指标能较好地概括不平衡类别...
模型评估指标AUC（area under the curve）
热门推荐
03-07 13万+
AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵，因此，我们先从混淆矩阵开始谈起。 混淆矩阵 假设，我们有一个任务：给定一些患者的样本，构建一个模型来预测肿瘤是不是恶性的。在这里，肿瘤要么良性，要么恶性，所以这是一个典型的二分类...
AUC详解
qq_41904729的博客
02-14 1万+
AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵，因此，我们先从混淆矩阵开始谈起。 混淆矩阵 假设，我们有一个任务：...
ROC曲线与AUC值
weixin_30872789的博客
11-21 1567
本文根据以下文章整理而成，链接： （1）http://blog.csdn.net/ice110956/article/details/20288239 （2）http://blog.csdn.net/chjjunking/article/details/5933105 1.概述 　　AUC（Area Under roc Curve）是一种用来度量分类模型好坏的一个标准。这样的...
一文理清楚，准确率，精度，召回率，真正率，假正率，ROC/AUC
weixin_44467105的博客
02-14 2312
一.混淆矩阵 如上图为一个混淆矩阵， True Positive （真正, TP）被模型预测为正的正样本； True Negative（真负 , TN）被模型预测为负的负样本 ； False Positive （假正, FP）被模型预测为正的负样本； False Negative（假负 , FN）被模型预测为负的正样本； 相对应的， True Positive Rate（真正率 , TPR）或灵...
AUC计算方法总结
pzy20062141的专栏
09-24 12万+
1.  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和。这样，我们先把score排序(假设score越大，此样本属于正类的概率越大)，然后一边扫描就可以得到我们想要
预测任务评价指标acc,auc
最新发布
virus111222的博客
03-08 4472
1、分别表示什么TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正；FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正；FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负；TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负.
常用损失函数和评价指标总结
林夕
09-24 1万+
1. 损失函数： 2.评价指标： 2.1 回归问题： 1. MSE： 均方误差（Mean Square Error），范围 [0,+∞)[0,+∞)[0,+∞) MSE=1n∑i=1n(y^i−yi)2 M S E=\frac{1}{n} \sum_{i=1}^{n}\left(\hat{y}_{i}-y_{i}\right)^{2} MSE=n1​i=1∑n​(y^​i​−yi​)2 2. RM...
AUC到底是什么？
JustForFun的博客
06-21 4万+
前言 上一篇单值AUC计算优化里，提到了AUC，AUC的全名是Area Under Curve，就是ROC曲线下的面积，上一篇文中提到了AUC是评估模型整体排序能力的，但是具体是什么没有进行展开介绍，考虑到可能很多人对这么个玩意都不是那么理解，因为网上大部分都是从ROC怎么画，AUC怎么算，AUC代表什么，但是为什么代表这些含义却都没有提到，所以这次就专门写了一篇来介绍什么是AUC。 ROC 首先...
机器学习之评价指标AUC的意义
AndyJ的学习之旅
09-09 5584
参考 概要 在互联网的排序业务中，比如搜索、推荐、广告等，AUC（Area under the Curve of ROC）是一个非常常见的评估指标。 AUC的理解 一般有两大类解释，一种是基于ROC线下面积，需要理解混淆矩阵，包括精确率、召回率、F1 值、ROC等指标的含义。另外一种是基于概率的解释，模型的排序能力。 AUC的排序特性 对比accuracy、precision等指标，AUC指标本身和模型预测score绝对值无关，只关注排序效果，因此特别适合排序业务。 为何与模型预测score值无关为何是很好
对AUC计算公式和几何意义的理解
Peter的脱发日记
05-18 1万+
关于AUC的一些理解1. AUC（Area Under ROC Curve）是对机器学习模型的一种性能度量，其直观的意义是ROC（Receiver Operating Characteristic）围成的面积，然而很多文章对AUC的计算公式与其直观意义“面积”的对应描述不甚明了，于是我花了一些时间研究了AUC的计算公式和几何意义，全是我个人理解，如有不对，还望指出。 本文代码在 https:...
AUC
mudan97的博客
04-14 468
最近我们在尝试深度学习模型，离线的auc已经高于基线，上线后ctr表现也优于基线，但是基于线上实际反馈的打点日志，深度学习的模型的auc要明显低于基线。但以前的模型迭代auc是可以和线上ctr对应的。 这个问题比较奇怪，一般情况下，因为线上样本存在bias（补充：模型训练一般是经过采样的，但是真实的线上环境样本并不会进行采样，所以就会导致样本存在bias），将新模型同时去测试基线流量和实验流量时，实验流量的auc会略高于基线流量。 可以这样理解，新的模型的增量是带来了一些新的好样本，但是如果直接去评估基
auc到多少有意义_怎么直观理解ROC AUC的概率统计意义？
weixin_39934063的博客
12-22 641
首先要清楚二元分类的过程。一般是先对每个数据点计算一个score $x$，可以是这个点属于positive的概率，也可以是其他。一般来说是$x$越大，越可能是positive。把所有positive/negative的score的直方图画出来，如下图的两个概率分布函数$f_1(x)$, $f_0(x)$。然后人为设定一个threshold $T$，当$x>T$判断为positive，否者为n...
关于AUC
hqr20627的博客
03-02 716
预测值为正例，记为P（Positive）预测值为反例，记为N（Negative）预测值与真实值相同，记为T（True）预测值与真实值相反，记为F（False）样本中的真实正例类别总数即TP+FN。TPR即True Positive Rate，TPR = TP/(TP+FN)。 同理，样本中的真实反例类别总数为FP+TN。FPR即False Positive Rate，FPR=FP/(TN+FP)。...
数分面试|假设检验
xiaodoa的博客
09-09 2469
1.定义 假设检验，是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是由本质差别造成的统计推断方法。 2.基本思想 ‘小概率事件’原理。其统计推断方法是带有某种概率性质的反证法， 理论：原假设和备择假设，小概率思想是小概率事件在一次实验中基本上不会发生。 反证法思想是先提出检验假设，再用适当的统计方法，利用小概率原理，确定假设是否成立，就是首先假定原假设正确，然后根据样本决定对原假设是该接受还是该拒绝。 如果样本观察值导致了小概率事件的发生，就应拒绝原假设。 3.常用的假设检验类型 Z检验、t检验、
ROC曲线 AUC值
wangprince2017
10-20 5753
全面了解ROC曲线 一.初识ROC曲线 1. ROC的前世今生： ROC的全称是“受试者工作特征”（Receiver Operating Characteristic）曲线, 首先是由二战中的电子工程师和雷达工程师发明的，用来侦测战场上的敌军载具（飞机、船舰），也就是信号检测理论。之后很快就被引入了心理学来进行信号的知觉检测。此后被引入机器学习领域，用来评判分类、检测结果的好坏。因此，R...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值