离线与在线auc不一致问题

阅读论文：Predictive Model Performance: Offline and Online Evaluations

1、离线AUC、RIG有迷惑性（线上线下不一致）

• auc忽略了预测得分，只关注顺序(正样本排在负样本之前)

• auc 越高并不意味着有更好的排序
  AUC不能区分ROC空间的各个区域，所以仅通过优化数据两端的模型性能就可以训练模型以最大化AUC分数。

• 实际上，高估pClick得分范围内的点击概率比低估pClick得分范围时对在线性能的影响要小
  低pClick范围内pClick得分的高估可能会给劣质广告带来更高的选择机会，从而会对在线指标产生重大负面影响

2、预测点击得分较低的商品对在线的性能影响更大（得分较低的商品）， 【errors in predictions in the very low range of predicted click scores impact the online performance much more negatively than errors in
other regions ）

3、 auc平衡了平均权衡了遗漏和佣金错误；如不在主banner投放最佳广告（遗漏错误）的成本远远超过放置次优广告的罚款(佣金错误)，当误分类成本不相等时，总结所有可能的阈值是不准确的。

4、AUC高度依赖于数据的基础分布。 在两个相同的数据集上，使用不同的负样本率，AUC会完全不同；

注意：对于正负样本极不均衡的数据集，尤其是负样本比例极高，此时auc较高，并不一定意味这该模型具有较好的预测性能

几个指标之间的区别<