阅读论文:Predictive Model Performance: Offline and Online Evaluations
1、离线AUC、RIG有迷惑性(线上线下不一致)
-
auc忽略了预测得分,只关注顺序(正样本排在负样本之前)
-
auc 越高并不意味着有更好的排序
AUC不能区分ROC空间的各个区域,所以仅通过优化数据两端的模型性能就可以训练模型以最大化AUC分数。 -
实际上,高估pClick得分范围内的点击概率比低估pClick得分范围时对在线性能的影响要小
低pClick范围内pClick得分的高估可能会给劣质广告带来更高的选择机会,从而会对在线指标产生重大负面影响
2、预测点击得分较低的商品对在线的性能影响更大(得分较低的商品), 【errors in predictions in the very low range of predicted click scores impact the online performance much more negatively than errors in
other regions )
3、 auc平衡了平均权衡了遗漏和佣金错误;如不在主banner投放最佳广告(遗漏错误)的成本远远超过放置次优广告的罚款(佣金错误),当误分类成本不相等时,总结所有可能的阈值是不准确的。
4、AUC高度依赖于数据的基础分布。 在两个相同的数据集上,使用不同的负样本率,AUC会完全不同;
注意:对于正负样本极不均衡的数据集,尤其是负样本比例极高,此时auc较高,并不一定意味这该模型具有较好的预测性能