auc指标含义的理解

最新推荐文章于 2025-03-19 12:13:51 发布
最新推荐文章于 2025-03-19 12:13:51 发布
阅读量4.9k 收藏 5
点赞数 3
分类专栏： Machine Learning & Data Mining

机器学习实践中分类器常用的评价指标就是auc，不想搞懂，简单用的话，记住一句话就行
auc取值范围[0.5,1]，越大表示越好，小于0.5的把结果取反就行。

想搞懂的，看An introduction to ROC analysis （Tom Fawcett）这篇论文把。我把这篇论文的要点整理了一下。

引子

假设有下面两个分类器，哪个好？

A类样本90个
B 类样本10个
分类精度（分类正确占比）
分类器C1结果
A* 90  (100%)
A*10 (0%)
90%
分类器C2结果
A*70 + B*20  (78 %)
A*5 + B*5    (50%)
75%
测试样本中有A类样本90个， B 类样本10个。
分类器C1 把所有的测试样本都分成了A类（比如分类器的输出只是一句代码 printf ("A") ），
分类器C2把A类的90个样本分对了70个，B类的10个样本分对了5个。
则C1的分类精度为 90%，C2的分类精度为75%，但直觉上，我们感觉C2更有用些。
我们需要一个评价指标，能客观反映对正样本、负样本综合预测的能力，还要考虑消除样本倾斜的影响（其实就是归一化之类的思想，实际中很重要，比如pv总是远远大于click），这就是auc指标能解决的问题。

啥是auc

roc曲线下的面积就是auc，所以要先搞清楚roc。

先看二分类问题，预测值跟实际值有4种组合情况，见下面的列联表

预测

　　合计

1

0

实际

　　

1 (P)

True Positive（TP）

False Negative（FN）

Actual Positive(TP+FN)

0 (N)

False Positive（FP)

True Negative(TN)

Actual Negative(FP+TN)

合计　　

Predicted Positive(TP+FP)

Predicted Negative(FN+TN)

TP+FP+FN+TN

我们让：
纵坐标是true positive rate(TPR)  = TP / (TP+FN=P) （分母是横行的合计）直观解释：实际是1中，猜对多少
横坐标是false positive rate(FPR) = FP / (FP+ TN=N )  直观解释：实际是0中，错猜多少


FPR
TPR
c1
10/10=1
90/90=1
c2
5/10=0.5
70/90=0.78


所以评估标准改成离左上角近的是好的分类器。（考虑了正负样本的综合分类能力）
如果一个分类器能输出score，调整分类器的阈值，把对应的点画在图上，连成线这条线就是roc，曲线下的面积就是auc（Area under the Curve of ROC ）

有啥特点

  1. roc上的点，越靠近左上角越好。(tp rate is higher, fp rate  is lower,or both )
  2. y = x这条对角线代表随机猜测的结果。比如用投掷硬币结果来猜测，点在(0.5, 0.5) ；假设硬币不均匀，90%概率向上，那就是(0.9, 0.9) （正例中，90%能猜对；反例中，90%猜错）
  3. auc范围[0.5, 1]，小于0.5的分类器把结果取反一下把。
  4. 分类器不一定要输出概率，输出可比较的score也行。
  5. 画roc曲线的时候，threshold采样点是有限的离散化点，其实就用score，毕竟score是有限的。Any ROC  curve generated from a finite set of instances is actually a step function。画曲线需要两个值TP/P和FP/N。P和N可以先扫描一遍找出来，后面不会变的。把score排一下序，从高到底，依次作为threshold（>=threshold的我们预测为p，其他为n）。TP判断class为P的加一就行，FP判断class为N的也加一就行。变得很简单了。

    这里就有一个细节问题了，score相同的点怎么处理？

    论文里给出一个直观的图，先累加正样本和先累加负样本的差异（先加TP往上走，还是FP往右走）。结论就是score相同的样本一起算，不要一个样本就输出一个采样点。
  6. auc的直观含义是任意取一个正样本和负样本，正样本得分大于负样本的概率。The  ROC curve shows the ability of the classifier to rank the positive instances relative to the negative instances, and it is indeed perfect in this ability.（想想这个组合问题的概率怎么求？对每一个负样本，把分数大于这个负样本的正样本个数累加起来，最后除以总的组合数P*N，前面算roc curve是不是也类似这样累加？除了P或者N先除了。还不确定看下面的代码实现，代码里为了平滑，求的是小梯形的面积，而不是矩形，稍微有些差别。）论文里举了个例子，auc算出来是1，但是可以发现预测结果不是完全对的（7和8就预测错了）。但实际上只是threshold选择得不好而已，threshold选0.7这里就行了。
  7. 容忍样本倾斜的能力。ROC curves have an attractive property: they are insensitive to changes in class distribution. 看看公式TP/P 和FP/N本身就包含了归一化的思想（上面的表格每一行乘以常数C，TPR和FPR不变的），比如负样本*10的话 : FPR = (FP*10)/(N*10)，不变的。
    再看看precision和recall就不行了，因为一个表格里是竖行，一个是横行。
    precision=tp/(tp+fp),  recall=tp/(tp+fn)
    负样本*10的话 :
    precision=tp/(tp+fp*10),  recall=tp/(tp+fn)

具体代码实现

求一个个小的梯形的面积。

搞到一个scoreKDD.py的代码
[python]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. #!/usr/local/bin/python  
  2.   
  3. def scoreAUC(labels,probs):  
  4.     i_sorted = sorted(range(len(probs)),key=lambda i: probs[i], reverse=True)  
  5.     auc_temp = 0.0  
  6.     TP = 0.0  
  7.     TP_pre = 0.0  
  8.     FP = 0.0  
  9.     FP_pre = 0.0  
  10.     P = 0;  
  11.     N = 0;  
  12.     last_prob = probs[i_sorted[0]] + 1.0  
  13.       
  14.     for i in range(len(probs)):  
  15.         if last_prob != probs[i_sorted[i]]:   
  16.             auc_temp += (TP+TP_pre) * (FP-FP_pre) / 2.0          
  17.             TP_pre = TP  
  18.             FP_pre = FP  
  19.             last_prob = probs[i_sorted[i]]  
  20.         if labels[i_sorted[i]] == 1:  
  21.             TP = TP + 1  
  22.         else:  
  23.             FP = FP + 1  
  24.     auc_temp += (TP+TP_pre) * (FP-FP_pre) / 2.0  
  25.     auc = auc_temp / (TP * FP)  
  26.     return auc  
  27.       
  28. def read_file(f_name):  
  29.       
  30.     f = open(f_name)  
  31.     labels = []  
  32.     probs = []  
  33.     for line in f:  
  34.         line = line.strip().split()  
  35.         try:  
  36.             label = int(line[2])  
  37.             prob = float(line[3])  
  38.         except ValueError:  
  39.             # skip over header  
  40.             continue  
  41.         labels.append(label)  
  42.         probs.append(prob)  
  43.     return (labels, probs)  
  44.   
  45.   
  46. def main():  
  47.     import sys  
  48.     if len(sys.argv) != 2:  
  49.         print("Usage: python scoreKDD.py file")  
  50.         sys.exit(2)  
  51.     labels, probs = read_file(sys.argv[1])  
  52.   
  53.     auc = scoreAUC(labels, probs)  
  54.     print("%f" % auc)  
  55. if __name__=="__main__":  
  56.     main()  


转载自：http://blog.csdn.net/dinosoft/article/details/43114935









什么是AUC？AUC的意义是什么？AUC的判断分类器优劣标准是什么？AUC如何计算？Python 实现
BugCrusher的博客
09-06 1518
它代表了分类器在不同阈值下的预测能力，并且提供了一个简洁的方式来比较不同分类器之间的性能优劣。AUC的取值范围在0到1之间，值越接近1表示分类器的性能越好，值越接近0.5则表示分类器的性能越差。它衡量了分类器对正例和负例样本的正确排序能力，提供了一个简洁的方式来比较不同分类器的性能。AUC的计算通过绘制ROC曲线并计算曲线下的面积来实现。AUC的意义在于衡量了分类器对正例样本和负例样本的正确排序能力。因此，AUC的值越高，分类器将正例排在负例前面的能力越强，即分类器的性能越好。AUC的意义是什么？
分类问题：导致AUC为0.5的原因及解决方案
qq_51174011的博客
03-09 1万+
神经网络：AUC为0.5 在训练模型的过程中遇到了AUC为0.5的情况，搜集了一些网络上的资料，简单的做了一个整理 1. 特征本身和标签之间没有关系 AUC为0.5，意味着模型趋于“随机预测”模型，ROC曲线近似于ROC图的对角线。 “特征本身和标签之间没有关系”看起来是一件不太可能发生的事，但实际中有可能会由调取数据过程出现的问题导致。 检查模型的特征和标签是否匹配可以检验该问题是否存在，若存在应匹配特征和标签 2. 原始数据的量纲差异过大 当原始数据的量纲相差过大，而标签中“0”的过多时，训练出的模型系
再聊一聊AUC指标
lc434699300的博客
04-07 778
至于倒挂的原因，这里胡乱提一个，比如从组成该模型的各变量维度上看，bin1-2确实是被该模型识别出来更好的人，但是由于对这些人提额过度超过了其真实还款能力，所以发生逾期。最后，本文想传达的一个观点，在实践中遇到指标异常的情况，不要简单地归类为该变量/模型效果不好，还是要回到指标的计算逻辑，多思考背后的原因，一个指标也只是反映了某一部分的情况，这样也有利于加深对这些指标的理解和运用，带着好奇心去思考。情况一，以下图中的数据为例，1代表用户发生逾期，标记为坏样本，模型预测的是用户发生逾期的概率。
深入解析模型评估指标：从准确率到AUC，如何选择最合适的评估指标？
最新发布
一碗黄焖鸡三碗米饭的博客
03-19 1266
模型评估指标的选择直接影响模型的优化和最终效果。在实际项目中，理解各个评估指标的含义，并根据任务特性选择合适的指标，是提升模型效果的关键。通过掌握准确率、精确率、召回率、F1 分数、AUC 等常见评估指标的计算和应用方法，你可以更加高效地评估和优化你的模型，提升模型的泛化能力和实际应用效果。希望通过本文的讲解，能够帮助你更深入理解模型评估指标的选择和应用，从而在机器学习项目中做出更明智的决策。机器学习基础：监督学习 vs 无监督学习-CSDN博客常见的机器学习算法：深入解析与代码示例-CSDN博客。
auc到多少有意义_怎么直观理解ROC AUC的概率统计意义？
weixin_39934063的博客
12-22 686
首先要清楚二元分类的过程。一般是先对每个数据点计算一个score $x$，可以是这个点属于positive的概率，也可以是其他。一般来说是$x$越大，越可能是positive。把所有positive/negative的score的直方图画出来，如下图的两个概率分布函数$f_1(x)$, $f_0(x)$。然后人为设定一个threshold $T$，当$x>T$判断为positive，否者为n...
数据分析（1）描述分析
vanni01的博客
09-09 686
一、基本统计分析 1、样本均值： 2、样本中位数： 3、样本分位数 4、样本众数 5、样本极差 6、样本方差：SUM((样本值-样本均值)^2 )/n-1 7、样本标准差：POWER（样本方差，2） 8、频数：样本值出现次数 9、峰度：大于0比标准正太陡，小于0比正太分布平缓 10、偏度：大于0峰值靠右侧，小于0峰值靠左侧 11、Z分位：样本值与样本均值相差多少个标准差（标准差倍数） 12、T分位：Z分位的线性变换（为了数据更好看一些） 二、探索分析 1、正态性检验：样本是否符合正太分布 2、卡方检验：交叉
机器学习评估指标 AUC 综述
dean1977a的博客
10-12 1140
在互联网的排序业务中，比如搜索、推荐、广告等，AUC ( Area under the Curve of ROC ) 是一个非常常见的评估指标。网上关于 AUC 的资料很多，知乎上也有不少精彩的讨论，本文尝试基于自身对 AUC 的理解做个综述，水平有限，欢迎指出错误。 俗话说，提出正确的问题就成功了一半，本文先提出以下几个问题，希望大家读完能够加深对下列问题的理解。 AUC 有几种理解？ AUC...
深度学习auc_auc多少合格的直观感受
weixin_39844426的博客
12-21 814
有人问我一个问题，你觉得auc多少算合格呢？尝试了两个例子，mnist和cifar-10。先分别看一下两者跑出来的accuracy和auc。mnistmnist的acc是0.98， 而auc：ovr_macro_auc: 0.99980,ovo_macro_auc: 0.99979ovr_weighted_auc:0.99980ovo_weighted_auc:0.99980代码参考：https:...
auc到多少有意义_对模型评价指标AUC的理解
weixin_35998457的博客
01-13 7433
AUC是一种衡量机器学习模型分类性能的重要且非常常用的指标,其只能用于二分类的情况.AUC的本质含义反映的是对于任意一对正负例样本,模型将正样本预测为正例的可能性 大于 将负例预测为正例的可能性的 概率( :-) 没办法这句话就是这么绕, rap~).AUC作为数值,那么到底是怎么来的?怎么理解它的意义?在真正接触AUC之前,还需要了解两个概念, 分别是混淆矩阵(confusion matrix)...
【推荐系统的评估】离线评估指标AUC
m0_53259482的博客
05-04 1385
ROC曲线的横坐标为False Positive Rate（FPR，假阳性率），所有负样本中被错判为正的样本数所占的比例，显然，我们不希望该指标太高。纵坐标为True Positive Rate（TPR，真阳性率），所有正样本中真正为正样本的样本所占比例，当然，我们希望真阳率越高越好。​​​​​​​。
模型评估指标AUC（area under the curve）
热门推荐
03-07 14万+
AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵，因此，我们先从混淆矩阵开始谈起。 混淆矩阵 假设，我们有一个任务：给定一些患者的样本，构建一个模型来预测肿瘤是不是恶性的。在这里，肿瘤要么良性，要么恶性，所以这是一个典型的二分类...
ROC曲线和AUC面积理解
Microstrong
04-15 8万+
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！本文同步更新在我的微信公众号中，公众号文章地址：https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247484146&idx=1&sn=963765a3ede231292...
一文理清楚，准确率，精度，召回率，真正率，假正率，ROC/AUC
weixin_44467105的博客
02-14 2519
一.混淆矩阵 如上图为一个混淆矩阵， True Positive （真正, TP）被模型预测为正的正样本； True Negative（真负 , TN）被模型预测为负的负样本 ； False Positive （假正, FP）被模型预测为正的负样本； False Negative（假负 , FN）被模型预测为负的正样本； 相对应的， True Positive Rate（真正率 , TPR）或灵...
auc到多少有意义_为什么医学中的AUC可以代表药物进入血液循环的量
weixin_39587822的博客
12-31 1万+
为什么医学中的AUC可以代表药物进入血液循环的量首先介绍下什么是AUC，AUC(areaundercurve)，根据其英文名称不难看出，确实是描述的药时曲线下的面积！曲线如下：向左转|向右转但是，要解决你的疑惑，我不得不先解释下对于常见的口服药物药时曲线的意义和特征及其特性！首先对于一个口服的药物来说，它是同时存在吸收过程(即药物以分子或者离子形态透过胃肠道细胞膜进入血液循环系统)以及消除过程...
AUC及其意义、判断标准和计算方法 - Python
PixelEnigma的博客
08-10 1万+
在机器学习中，AUC（Area Under the ROC Curve）是一种常用的评估二元分类器性能的指标，ROC全称为Receiver Operating Characteristic，用于描述敏感性和特异性之间的关系。AUC是机器学习中一种常用的评估二元分类器性能的指标，它的取值范围在[0,1]之间，越接近1表示分类器性能越好。该代码首先模拟了真实标签和预测得分，然后使用roc_curve函数计算FPR和TPR，最后使用auc函数计算AUC，并绘制ROC曲线及AUC的取值。二、AUC的判断标准。
auc到多少有意义_如何直观理解AUC评价指标？
weixin_39753616的博客
12-22 1577
如何直观理解AUC评价指标？导语最近一直在思考如何直观理解AUC，查了维基百科的以及网上的讲解描述，感觉仍然很难把这个概念表述得通俗易懂，直到昨天周会后拿笔在纸上画了画，感觉似乎找到了一种比较有意思的理解方法，下面就请各位看官容我慢慢道来。首先简单介绍一下什么是AUC。根据维基百科的描述，AUC(AreaundertheCurveofROC)是ROC曲线下方的面积，是判断二分类预测模型优...
ROC曲线与AUC值
远方
01-09 2114
一、相关概念 ROC的全名叫做Receiver Operating Characteristic，其主要分析工具是一个画在二维平面上的曲线——ROC curve。平面的横坐标是false positive rate(FPR)，错误率。纵坐标是true positive rate(TPR)，真值率。 AUC（Area Under roc Curve）是一种用来度量分类模型好坏的一个标准。为ROC曲线...
AUC、ROC详解：原理、特点&算法
Viking的博客
09-06 3592
前言 接收者操作特征曲线（ROC）可以用来对分类器的表现可视化，可以依据分类器在ROC上的表现来选择最终的模型。 分类性能TP、FP、TN、FN 以二分类问题为例，每个实例I将会被映射到正例和负例上{p，n}。模型会将每个实例一个预测结果，结果可能是连续的，也可能是离散的；对于连续的结果，需要根据阈值再进行分类。为了和分类标签区分，我们使用{Y，N}表示每个样本的预测结果。 给定一个分类器和一个样本，会有4个输出。如果样本是正例而且被预测为正例，则归为TP；如果被预测为负例，则归为FN；如果样本是负例而且被
AUC-ROC
03-12
<think>好的，我现在要详细解答用户关于AUC-ROC曲线的问题。首先，我需要回顾一下自己对这些概念的理解，并确保信息的准确性。用户提到了几个引用资料，我需要结合这些内容来组织回答，同时遵循系统级指令中的格式要求。 首先，AUC-ROC是机器学习中用于评估二分类模型性能的重要指标。ROC曲线全称是受试者工作特征曲线，而AUC则是ROC曲线下的面积，用来量化模型的整体性能。用户可能想知道这两者的具体定义、如何解读，以及它们在模型评估中的实际应用。 接下来，我需要分步骤解释这些概念。首先定义ROC曲线，说明其横轴（FPR）和纵轴（TPR）的含义，以及它们如何随着分类阈值的变化而变化。然后，解释AUC值的意义，比如AUC为1表示完美分类，0.5相当于随机猜测，这时需要强调AUC如何反映模型的区分能力。 然后，结合用户提供的引用资料，特别是引用[2]和[3]，其中提到ROC曲线接近左上角表示模型准确率高，AUC值高则性能更好。这部分需要自然地融入回答中，并正确添加引用标识。例如，在解释ROC曲线的位置时，引用[2]的内容。 此外，用户可能对如何绘制ROC曲线以及计算AUC的方法感兴趣。我需要简要说明绘制步骤，比如需要不同阈值下的TPR和FPR，然后连接这些点形成曲线。AUC的计算方法可以通过梯形法则或积分，这部分可能需要提及，但不需要太深入数学细节，以保持回答的实用性。 还要注意用户的应用场景，可能想知道AUC-ROC在模型选择、调参或比较中的作用。例如，引用[3]提到AUC不受类别不平衡的影响，这一点很重要，需要在回答中突出，说明为什么在处理不平衡数据时AUC比准确率更有优势。 同时，需要确保回答中的数学公式使用正确的LaTeX格式，如FPR公式写成$FPR = \frac{FP}{FP + TN}$，TPR写成$TPR = \frac{TP}{TP + FN}$，并用$$包围独立公式。此外，所有行内公式如$AUC$需要用$符号包裹。 可能还需要比较AUC与其他指标（如准确率、F1-score）的不同，指出AUC的综合性和对类别不平衡的鲁棒性，这部分可以引用资料中的内容来支持观点。 最后，生成的相关问题需要围绕AUC-ROC的延伸话题，比如如何解读不同AUC值、与其他指标的比较、应用场景、计算方法及类别不平衡的影响。这些问题应帮助用户进一步探索该主题。 在整理回答时，要确保结构清晰，分点解释，每个部分自然过渡，并在适当的位置添加引用标记。同时，检查LaTeX语法是否正确，避免格式错误。例如，独立公式是否使用$$，行内公式是否正确使用$符号。 现在，综合以上思考，组织成一个逻辑连贯的回答，满足用户的需求，并符合给定的格式要求。</think>### AUC-ROC曲线详解及在分类模型评估中的作用 #### 1. **基本概念** - **ROC曲线**（Receiver Operating Characteristic Curve）是用于评估二分类模型性能的工具，横轴为**假正率**（False Positive Rate, FPR），纵轴为**真正率**（True Positive Rate, TPR），其计算公式为： $$ FPR = \frac{FP}{FP + TN}, \quad TPR = \frac{TP}{TP + FN} $$ 其中，$TP$（真正例）、$FP$（假正例）、$TN$（真负例）、$FN$（假负例）构成混淆矩阵[^1][^3]。 - **AUC**（Area Under the Curve）是ROC曲线下的面积，取值范围为$[0,1]$，用于量化模型区分正负类的能力。AUC值越接近1，模型性能越好；若AUC=0.5，则等同于随机猜测[^2]。 #### 2. **ROC曲线的绘制与解读** - **绘制方法**：通过调整分类阈值（如逻辑回归中的概率截断值），计算不同阈值下的TPR和FPR，将各点连接成曲线。 - **关键形态**： - **靠近左上角**：模型准确率高（高TPR、低FPR）[^2]。 - **接近对角线**：模型性能与随机猜测相当（AUC=0.5）。 - **低于对角线**：可能因模型预测反向导致，需重新检查数据或模型。 #### 3. **AUC值的意义** - **AUC=1**：完美分类器，所有正负样本均被正确区分。 - **AUC>0.9**：模型具有优秀的区分能力。 - **AUC<0.7**：模型性能较差，需优化特征或算法。 #### 4. **在模型评估中的应用** - **模型比较**：AUC提供单一数值指标，便于横向对比不同模型的性能。 - **类别不平衡鲁棒性**：AUC不受正负样本比例影响，适用于评估信用卡欺诈检测、疾病诊断等不平衡场景[^3]。 - **调参指导**：通过观察不同参数下AUC的变化，选择最佳超参数组合。 #### 5. **与其他指标的关系** - **对比准确率**：AUC更关注模型对正负类的整体区分能力，而非单纯分类正确率。 - **对比F1-score**：F1-score依赖于特定阈值，而AUC综合所有阈值下的表现，更全面[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值