机器学习中的AUC理解

混淆矩阵(Confusion matrix)

混淆矩阵是理解大多数评价指标的基础，毫无疑问也是理解AUC的基础。丰富的资料介绍着混淆矩阵的概念，下边用一个实例讲解什么是混淆矩阵

如有100个样本数据，这些数据分成2类，每类50个。分类结束后得到的混淆矩阵为： 

说明： 
40个为0类别的，预测正确，60个事实是0类别的给预测为1类别的 
40个为1类别的，预测正确，60个事实是1类别的给预测为0类别的

其对应的混淆矩阵如下： 

混淆矩阵包含四部分的信息：

• True negative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数
• False positive(FP)，称为假阳率，表明实际是负样本预测成正样本的样本数
• False negative(FN)，称为假阴率，表明实际是正样本预测成负样本的样本数
• True positive(TP)，称为真阳率，表明实际是正样本预测成正样本的样本数

从上边的图可以分析出，对角线带True的为判断对了，斜对角线带False的为判断错了。

像常见的准确率，精准率，召回率，F1-score，AUC都是建立在混淆矩阵上的。

准确率（Accuracy）：判断正确的占总的数目的比例【（TN+TP）/100=(40+40)/100=0.8】 
精准率（precision）：判断正确的正类占进行判断的数目的比例（针对判别结果而言的，表示预测为正的数据中有多少是真的正确）【TP/(TP+FP) = 40/(40+60 )=0.4】 
召回率（recall）: 判断正确正类占应该应该判断正确的正类的比例（针对原样本而言，表示样本中的正例有多少被判断正确了）【TP/(TP+FN)=40/(40+60)=0.4】 
F1-Measure：精确值和召回率的调和均值【2*R*R/(P+R)=2*0.4*0.4/(0.4+0.4)=1】

AUC & ROC

AUC是一个模型评价指标，只能用于二分类模型的评价，对于二分类模型，还有损失函数（logloss），正确率（accuracy），准确率（precision），但相比之下AUC和logloss要比accuracy和precision用的多，原因是因为很多的机器学习模型计算结果都是概率的形式，那么对于概率而言，我们就需要去设定一个阈值来判定分类，那么这个阈值的设定就会对我们的正确率和准确率造成一定成都的影响。

AUC(Area under Curve)，表面上意思是曲线下边的面积，这么这条曲线是什么？——ROC曲线（receiver operating characteristic curve，接收者操作特征曲线）。

接下来分析下面这张图（图片来自百度百科）： 

X轴是假阳率：FP/(FP+TN) 
Y轴是真阳性：TP(TP+FN) 
ROC曲线给出的是当阈值(分类器必须提供每个样例被判为阳性或者阴性的可信程度值)变化时假阳率和真阳率的变化情况，左下角的点所对应的是将所有样例判为反例的情况，而右上角的点对应的则是将所有样例判断为正例的情况。 
ROC曲线不但可以用于比较分类器，还可以基于成本效益分析来做出决策。在理想情况下，最佳的分类器应该尽可能地处于左上角，这就意味着分类器在假阳率很低的同时获得了很高的真阳率。

AUC计算

以下部分引用 ROC曲线与AUC计算 中的举例

---

假设有6次展示记录，有两次被点击了，得到一个展示序列（1:1,2:0,3:1,4:0,5:0,6:0），前面的表示序号，后面的表示点击（1）或没有点击（0）。 
然后在这6次展示的时候都通过model算出了点击的概率序列。

下面看三种情况。

一、如果概率的序列是（1:0.9,2:0.7,3:0.8,4:0.6,5:0.5,6:0.4）。与原来的序列一起，得到序列（从概率从高到低排） 
1 0.9 
1 0.8 
0 0.7 
0 0.6 
0 0.5 
0 0.4 
绘制的步骤是： 
1）把概率序列从高到低排序，得到顺序（1:0.9,3:0.8,2:0.7,4:0.6,5:0.5,6:0.4）； 
2）从概率最大开始取一个点作为正类，取到点1，计算得到TPR=0.5，FPR=0.0； 
3）从概率最大开始，再取一个点作为正类，取到点3，计算得到TPR=1.0，FPR=0.0； 
4）再从最大开始取一个点作为正类，取到点2，计算得到TPR=1.0，FPR=0.25; 
5）以此类推，得到6对TPR和FPR。 
然后把这6对数据组成6个点(0,0.5),(0,1.0),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)。 
这6个点在二维坐标系中能绘出来。 
 
看看图中，那个就是ROC曲线。

二、如果概率的序列是（1:0.9,2:0.8,3:0.7,4:0.6,5:0.5,6:0.4）。与原来的序列一起，得到序列（从概率从高到低排） 
1 0.9 
0 0.8 
1 0.7 
0 0.6 
0 0.5 
0 0.4 
绘制的步骤是： 
6）把概率序列从高到低排序，得到顺序（1:0.9,2:0.8,3:0.7,4:0.6,5:0.5,6:0.4）； 
7）从概率最大开始取一个点作为正类，取到点1，计算得到TPR=0.5，FPR=0.0； 
8）从概率最大开始，再取一个点作为正类，取到点2，计算得到TPR=0.5，FPR=0.25； 
9）再从最大开始取一个点作为正类，取到点3，计算得到TPR=1.0，FPR=0.25; 
10） 以此类推，得到6对TPR和FPR。 
然后把这6对数据组成6个点(0,0.5),(0.25,0.5),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)。 
这6个点在二维坐标系中能绘出来。 
 
看看图中，那个就是ROC曲线。

三、如果概率的序列是（1:0.4,2:0.6,3:0.5,4:0.7,5:0.8,6:0.9）。与原来的序列一起，得到序列（从概率从高到低排） 
0 0.9 
0 0.8 
0 0.7 
0 0.6 
1 0.5 
1 0.4 
绘制的步骤是： 
11）把概率序列从高到低排序，得到顺序（1:0.4,2:0.6,3:0.5,4:0.7,5:0.8,6:0.9）； 
12）从概率最大开始取一个点作为正类，取到点6，计算得到TPR=0.0，FPR=0.25； 
13）从概率最大开始，再取一个点作为正类，取到点5，计算得到TPR=0.0，FPR=0.5； 
14）再从最大开始取一个点作为正类，取到点4，计算得到TPR=0.0，FPR=0.75; 
15）以此类推，得到6对TPR和FPR。 
然后把这6对数据组成6个点(0.25,0.0),(0.5,0.0),(0.75,0.0),(1.0,0.0),(1.0,0.5),(1.0,1.0)。 
这6个点在二维坐标系中能绘出来。 
 
看看图中，那个就是ROC曲线

如上图的例子，总共6个点，2个正样本，4个负样本，取一个正样本和一个负样本的情况总共有8种。

上面的第一种情况，从上往下取，无论怎么取，正样本的概率总在负样本之上，所以分对的概率为1，AUC=1。再看那个ROC曲线，它的积分是什么？也是1，ROC曲线的积分与AUC相等。

上面第二种情况，如果取到了样本2和3，那就分错了，其他情况都分对了；所以分对的概率是0.875，AUC=0.875。再看那个ROC曲线，它的积分也是0.875，ROC曲线的积分与AUC相等。

上面的第三种情况，无论怎么取，都是分错的，所以分对的概率是0，AUC=0.0。再看ROC曲线，它的积分也是0.0，ROC曲线的积分与AUC相等。

很牛吧，其实AUC的意思是——Area Under roc Curve，就是ROC曲线的积分，也是ROC曲线下面的面积。

绘制ROC曲线的意义很明显，不断地把可能分错的情况扣除掉，从概率最高往下取的点，每有一个是负样本，就会导致分错排在它下面的所有正样本，所以要把它下面的正样本数扣除掉（1-TPR，剩下的正样本的比例）。总的ROC曲线绘制出来了，AUC就定了，分对的概率也能求出来了。