AUC（二）：AUC线上线下不一致

在实际业务中，经常会出现AUC线上线下不一致的情况。例如，在离线评估中，AUC提升，但线上指标下降。这篇文章参考2013年KDD论文《Predictive Model Performance: Offline and Online Evaluations》，讨论AUC的特性。本文假设读者对二分类模型的评估有基本的了解。关于AUC的基础知识，可参考http。

优势

在工业场景中，AUC常常被用来评价模型的好坏。它的优势包括：

• 若使用ACC(Accuracy)作为评价指标，ACC的数值与阈值选择有直接的关系。AUC排除了阈值的干扰。
• AUC有物理含义，即0.5表示预测结果完全随机，1表示完美拟合。
• AUC可以评价线上和线下的效果。

缺点

正如硬币有两面一样，AUC也不是完美的。在实际工作中，经常会遇到离线AUC提升，而线上效果变差。针对此类问题，论文进行了详细的讨论。

AUC全局指标

AUC是一个全局指标，它无法反应模型的局部特性。相同AUC的两个模型，它的pCTR可能完全不同。在CTR在线预估中，一个well-fitted的模型需要使pCTR(预测CTR)与aCTR(真实CTR)尽可能的小。下图所示：

其中Avg pClick对应pCTR，Actual CTR对应aCTR，TPR、FPR对应ROC曲线的纵轴和横轴，Trapezoid对应梯形面积。从细微指标$aCT$