RS Meet DL(75)-考虑CPM的评估方法csAUC

1、背景

在点击率预估中，AUC是最常用的评估指标，这一指标衡量的是任取一个正例和负例，正例的得分高于负例的概率。那么点击率预估中，正例和负例分别是什么呢？很显然，正例就是用户点击过的item，负例是用户没有点击的item。

但是在广告排序场景下，线上排序通常考虑收益最大化，通过CTR * Bid进行排序，而非仅仅通过CTR进行排序。如果线下仅仅通过AUC来评价离线模型的效果，你往往会发现，线下的AUC涨了，但是线上的收入eCPM（千次广告展示收入）却降了。这是因为线下AUC的评估仅考虑点击率CTR，而线上展示不仅考虑了CTR，同时考虑了广告主的出价BID，二者之间存在一定的gap。

因此，本文提出了考虑CPM的评估方法csAUC，下文中我们先回顾一下AUC的定义，再介绍csAUC。

2、AUC回顾

混淆矩阵
我们首先来看一下混淆矩阵，对于二分类问题，真实的样本标签有两类，我们学习器预测的类别有两类，那么根据二者的类别组合可以划分为四组，如下表所示：

上表即为混淆矩阵，其中，行表示预测的label值，