机器学习中的AUC理解

原创 2018年04月15日 02:51:19

转载请注明出处:http://blog.csdn.net/gamer_gyt
博主微博:http://weibo.com/234654758
Github:https://github.com/thinkgamer


最近在做GBDT模型,里边用到胡模型评价方法就是AUC,刚好趁此机会,好好学习一下。

混淆矩阵(Confusion matrix)

混淆矩阵是理解大多数评价指标的基础,毫无疑问也是理解AUC的基础。丰富的资料介绍着混淆矩阵的概念,下边用一个实例讲解什么是混淆矩阵

如有100个样本数据,这些数据分成2类,每类50个。分类结束后得到的混淆矩阵为:
这里写图片描述

说明:
40个为0类别的,预测正确,60个事实是0类别的给预测为1类别的
40个为1类别的,预测正确,60个事实是1类别的给预测为0类别的

其对应的混淆矩阵如下:
这里写图片描述

混淆矩阵包含四部分的信息:

  • True negative(TN),称为真阴率,表明实际是负样本预测成负样本的样本数
  • False positive(FP),称为假阳率,表明实际是负样本预测成正样本的样本数
  • False negative(FN),称为假阴率,表明实际是正样本预测成负样本的样本数
  • True positive(TP),称为真阳率,表明实际是正样本预测成正样本的样本数

从上边的图可以分析出,对角线带True的为判断对了,斜对角线带False的为判断错了。

像常见的准确率,精准率,召回率,F1-score,AUC都是建立在混淆矩阵上的。

准确率(Accuracy):判断正确的占总的数目的比例【(TN+TP)/100=(40+40)/100=0.8】
精准率(precision):判断正确的正类占进行判断的数目的比例(针对判别结果而言的,表示预测为正的数据中有多少是真的正确)【TP/(TP+FP) = 40/(40+60 )=0.4】
召回率(recall): 判断正确正类占应该应该判断正确的正类的比例(针对原样本而言,表示样本中的正例有多少被判断正确了)【TP/(TP+FN)=40/(40+60)=0.4】
F1-Measure:精确值和召回率的调和均值【2*R*R/(P+R)=2*0.4*0.4/(0.4+0.4)=1】

AUC & ROC

AUC是一个模型评价指标,只能用于二分类模型的评价,对于二分类模型,还有损失函数(logloss),正确率(accuracy),准确率(precision),但相比之下AUC和logloss要比accuracy和precision用的多,原因是因为很多的机器学习模型计算结果都是概率的形式,那么对于概率而言,我们就需要去设定一个阈值来判定分类,那么这个阈值的设定就会对我们的正确率和准确率造成一定成都的影响。

AUC(Area under Curve),表面上意思是曲线下边的面积,这么这条曲线是什么?——ROC曲线(receiver operating characteristic curve,接收者操作特征曲线)。

接下来分析下面这张图(图片来自百度百科):
这里写图片描述

X轴是假阳率:FP/(FP+TN)
Y轴是真阳性:TP(TP+FN)
ROC曲线给出的是当阈值(分类器必须提供每个样例被判为阳性或者阴性的可信程度值)变化时假阳率和真阳率的变化情况,左下角的点所对应的是将所有样例判为反例的情况,而右上角的点对应的则是将所有样例判断为正例的情况。
ROC曲线不但可以用于比较分类器,还可以基于成本效益分析来做出决策。在理想情况下,最佳的分类器应该尽可能地处于左上角,这就意味着分类器在假阳率很低的同时获得了很高的真阳率。

AUC计算

以下部分引用 ROC曲线与AUC计算 中的举例


假设有6次展示记录,有两次被点击了,得到一个展示序列(1:1,2:0,3:1,4:0,5:0,6:0),前面的表示序号,后面的表示点击(1)或没有点击(0)。
然后在这6次展示的时候都通过model算出了点击的概率序列。

下面看三种情况。

一、如果概率的序列是(1:0.9,2:0.7,3:0.8,4:0.6,5:0.5,6:0.4)。与原来的序列一起,得到序列(从概率从高到低排)
1 0.9
1 0.8
0 0.7
0 0.6
0 0.5
0 0.4
绘制的步骤是:
1)把概率序列从高到低排序,得到顺序(1:0.9,3:0.8,2:0.7,4:0.6,5:0.5,6:0.4);
2)从概率最大开始取一个点作为正类,取到点1,计算得到TPR=0.5,FPR=0.0;
3)从概率最大开始,再取一个点作为正类,取到点3,计算得到TPR=1.0,FPR=0.0;
4)再从最大开始取一个点作为正类,取到点2,计算得到TPR=1.0,FPR=0.25;
5)以此类推,得到6对TPR和FPR。
然后把这6对数据组成6个点(0,0.5),(0,1.0),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)。
这6个点在二维坐标系中能绘出来。
这里写图片描述
看看图中,那个就是ROC曲线。

二、如果概率的序列是(1:0.9,2:0.8,3:0.7,4:0.6,5:0.5,6:0.4)。与原来的序列一起,得到序列(从概率从高到低排)
1 0.9
0 0.8
1 0.7
0 0.6
0 0.5
0 0.4
绘制的步骤是:
6)把概率序列从高到低排序,得到顺序(1:0.9,2:0.8,3:0.7,4:0.6,5:0.5,6:0.4);
7)从概率最大开始取一个点作为正类,取到点1,计算得到TPR=0.5,FPR=0.0;
8)从概率最大开始,再取一个点作为正类,取到点2,计算得到TPR=0.5,FPR=0.25;
9)再从最大开始取一个点作为正类,取到点3,计算得到TPR=1.0,FPR=0.25;
10) 以此类推,得到6对TPR和FPR。
然后把这6对数据组成6个点(0,0.5),(0.25,0.5),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)。
这6个点在二维坐标系中能绘出来。
这里写图片描述
看看图中,那个就是ROC曲线。

三、如果概率的序列是(1:0.4,2:0.6,3:0.5,4:0.7,5:0.8,6:0.9)。与原来的序列一起,得到序列(从概率从高到低排)
0 0.9
0 0.8
0 0.7
0 0.6
1 0.5
1 0.4
绘制的步骤是:
11)把概率序列从高到低排序,得到顺序(1:0.4,2:0.6,3:0.5,4:0.7,5:0.8,6:0.9);
12)从概率最大开始取一个点作为正类,取到点6,计算得到TPR=0.0,FPR=0.25;
13)从概率最大开始,再取一个点作为正类,取到点5,计算得到TPR=0.0,FPR=0.5;
14)再从最大开始取一个点作为正类,取到点4,计算得到TPR=0.0,FPR=0.75;
15)以此类推,得到6对TPR和FPR。
然后把这6对数据组成6个点(0.25,0.0),(0.5,0.0),(0.75,0.0),(1.0,0.0),(1.0,0.5),(1.0,1.0)。
这6个点在二维坐标系中能绘出来。
这里写图片描述
看看图中,那个就是ROC曲线

如上图的例子,总共6个点,2个正样本,4个负样本,取一个正样本和一个负样本的情况总共有8种。

上面的第一种情况,从上往下取,无论怎么取,正样本的概率总在负样本之上,所以分对的概率为1,AUC=1。再看那个ROC曲线,它的积分是什么?也是1,ROC曲线的积分与AUC相等。

上面第二种情况,如果取到了样本2和3,那就分错了,其他情况都分对了;所以分对的概率是0.875,AUC=0.875。再看那个ROC曲线,它的积分也是0.875,ROC曲线的积分与AUC相等。

上面的第三种情况,无论怎么取,都是分错的,所以分对的概率是0,AUC=0.0。再看ROC曲线,它的积分也是0.0,ROC曲线的积分与AUC相等。

很牛吧,其实AUC的意思是——Area Under roc Curve,就是ROC曲线的积分,也是ROC曲线下面的面积。

绘制ROC曲线的意义很明显,不断地把可能分错的情况扣除掉,从概率最高往下取的点,每有一个是负样本,就会导致分错排在它下面的所有正样本,所以要把它下面的正样本数扣除掉(1-TPR,剩下的正样本的比例)。总的ROC曲线绘制出来了,AUC就定了,分对的概率也能求出来了。




打开微信扫一扫,关注微信公众号【数据与算法联盟】



打开微信扫一扫,加入数据与算法交流大群

版权声明:用心写好你的每一篇文章,我的个人博客已上线:http://thinkgamer.cn https://blog.csdn.net/Gamer_gyt/article/details/79945987

auc指标含义的理解

机器学习实践中分类器常用的评价指标就是auc,不想搞懂,简单用的话,记住一句话就行 auc取值范围[0.5,1],越大表示越好,小于0.5的把结果取反就行。 想搞懂的,看An introduct...
  • Dinosoft
  • Dinosoft
  • 2015-01-25 15:50:17
  • 11785

如何直观理解AUC评价指标?

最近一直在思考如何直观理解AUC,查了维基百科的以及网上的讲解描述,感觉仍然很难把这个概念表述得通俗易懂,直到昨天周会后拿笔在纸上画了画,感觉似乎找到了一种比较有意思的理解方法,下面就请各位看官容我慢...
  • cherrylvlei
  • cherrylvlei
  • 2016-10-29 17:40:57
  • 14489

机器学习中的AUC理解

转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com...
  • Gamer_gyt
  • Gamer_gyt
  • 2018-04-15 02:51:19
  • 1304

AUC理解与实现

本文仅用于自我学习,理清思路,并作为笔记保留下来。这是我的第一篇博客,如有不妥,请多多指教。AUC理解AUC(Area under curve)是机器学习常用的二分类评测手段,直接含义是ROC曲线下的...
  • natsuka
  • natsuka
  • 2017-11-16 02:18:49
  • 267

机器学习和统计里面的auc怎么理解?

转自: https://www.zhihu.com/question/39840928 作者:小小丘 (该作者对 auc的意义 讲得非常棒, 感谢付出) 链接:https://www.zhihu...
  • PacosonSWJTU
  • PacosonSWJTU
  • 2017-03-09 10:14:52
  • 1147

机器学习与数据挖掘之ROC与AUC

参考文献:机器学习与数据挖掘参考文献 图1 分类结果混淆矩阵 很多学习器是为测试样本产生一个实值或概率预测,然后将这个预测值与一个分类阈值进行比较,若大于阈值则分为正类,否则为反类。例如,神...
  • shengyingpo
  • shengyingpo
  • 2017-03-24 17:30:47
  • 1114

ML基础-理解ROC和AUC

作为一个MLer,你一定听过同事或朋友提到过ROC和AUC,作为一个重要的分类器的评价指标,这篇文章带大家简要了解一下。 在分类问题中,最常用的评价指标就是precision、recall和f-sco...
  • geniusluzh
  • geniusluzh
  • 2015-11-11 01:18:46
  • 1557

机器学习之分类器性能指标之ROC曲线、AUC值

机器学习之分类器性能指标之ROC曲线、AUC值 http://www.cnblogs.com/dlml/p/4403482.html 分类器性能指标之ROC曲线、AUC值 一 r...
  • zdy0_2004
  • zdy0_2004
  • 2015-04-08 23:01:21
  • 41277

机器学习之模型评估与选择 (RPC与AUC)

ROC和AUC介绍以及如何计算AUC June 22, 2013 ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(bin...
  • qq_16944803
  • qq_16944803
  • 2016-04-07 22:28:01
  • 735

机器学习常见评价指标:AUC、Precision、Recall、F-measure、Accuracy

机器学习常见评价指标:AUC、Precision、Recall、F-measure、Accuracy 主要内容 AUC的计算 Precision、Recall、F-measure、Accuracy的...
  • zhihua_oba
  • zhihua_oba
  • 2017-11-30 16:11:00
  • 934
收藏助手
不良信息举报
您举报文章:机器学习中的AUC理解
举报原因:
原因补充:

(最多只允许输入30个字)