AUC的含义——及线上线下不一致性分析

一、前言

在算法面试中，常常会被一个问题AUC的物理含义是什么。其物理含义是：测试任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score。

举例说明一下：

样本：y=1，y = 1， y=1， y = -1， y = -1， y = -1

模型1的预测：0.8，0.7，0.3，0.5，0.6，0.9

模型2的预测：0.1， 0.8， 0.9， 0.5， 0.85， 0.2

真实label中正负样本对为3*3=9

模型1：正样本score大于负样的对包括(y1,y4)(y1,y5)(y2,y4)(y2,y5)。所以AUC值为4/9 （所以任取模型1预测的一对正负样本，他的正样本的预测值大于负样本的概率为4/9）

模型2：正样本score大于负样本的对包括(y2,y4)(y2,y6)(y3,y4)(y3,y5)(y3,y6)。所以AUC的值为5/9

二、AUC的实际应用

AUC常常用在排序模型线下训练的的指标，AUC是用来衡量整体item排序效果的。

优势
在工业场景中，AUC常常被用来评价模型的好坏。它的优势包括：

若使用ACC(Accuracy)作为评价指标，ACC的数值与阈值选择有直接的关系。AUC排除了阈值的干扰。
AUC有物理含义，即0.5表示预测结果完全随机，1表示完美拟合。
AUC可以评价线上和线下的效果。
缺点
正如硬币有两面一样，AUC也不是完美的。在实际工作中，经常会遇到离线AUC提升，而线上效果变差。针对此类问题，论文(Predictive Model Performance: Offline and Online Evaluations)进行了详细的讨论。

三、Predictive Model Performance: Offline and Online Evaluations 论文解读

在实际业务中，经常会出现AUC线上线下不一致的情况。例如，在离线评估中，AUC提升，但线上指标下降。这篇文章参考2013年KDD论文《Predictive Model Performance: Offline and Online Evaluations》，讨论AUC的特性。

AUC全局指标

AUC是一个全局指标，它无法反应模型的局部特性。相同AUC的两个模型，它的pCTR可能完全不同。在CTR在线预估中，一个well-fitted的模型需要使pCTR(预测CTR)与aCTR(真实CTR)尽可能的小。下图所示：

 其中Avg pClick对应pCTR，Actual CTR对应aCTR，TPR、FPR对应ROC曲线的纵轴和横轴，Trapezoid对应梯形面积。从细微指标
​来看，下表的效果不尽人意。然而，若从AUC角度而言，实验者会得到完全相反的结论。造成这种现象的原因是：

• 存在大量的负样本其预测概率非常低，拉低了FPR，进而拉升了AUC

由于AUC缺乏对预估细节的把控，因此需要从多个角度评价一个模型的好坏，例如、log-loss等。从经验角度而言，提高采样频率能够提高模型AUC。因此，当一个模型采样频率较高时，它的AUC并不能真实反应预测效果。

online截断

在计算中，AUC将不加区分对所有ROC区域计算面积。然而，在CTR预估中，更加关心的是CTR较高的广告计划（CTR很低，依然曝光，会增加广告主成本）。因此，并不关心ROC曲线最右端部分。如下图所示

其中，上表与下表仅切换了倒数第一/二行的采样分布。从离线评估角度而言，上表的模型比下表的模型效果好。然而，上线后，由于阈值()的作用，两个模型的效果一样。

实验效果

下图是从论文中截取的，线下与线上效果的比较

其中Click yield(CY)是评估线上点击率的指标，读者可简单理解为线上点击率。由图可知，线下AUC提升，但线上指标均下降。为了分析原因，作者给出了Log-loss的统计

其中，横轴代表pCTR，纵轴代表log-loss，实线代表验证模型。根据pCTR的大小将横轴分成三块：l o w lowlow、m e d i a n medianmedian和h i g h highhigh。由图可知，在l o w lowlow和h i g h highhigh两部分中，预测概率大于真实概率。对于l o w lowlow部分，将会使大量低概率的广告曝光，进而引起整体CTR的下降。而h i g h highhigh部分的预测概率提升，并不一定会引起CTR提升。其中一种可能性是，模型预估概率已足够让广告胜出，再增加预测概率并不能胜出更多广告。

总结

AUC作为一个整体指标并不能反应模型的细微变化，评价一个模型的好坏需要从多个角度。