推荐评价指标之AUC

定义

AUC的英文名称为Area under the ROC curve，即为ROC曲线下的面积。ROC曲线一般被用来评价某种分类器的分类效果。Steffen Rendle在他的经典文章BPR1中就利用AUC来评价BPR算法的预测效果。

公式

在BPR文章的评价方法中，作者使用了留一法(Leave one out)评价方法：即对每个用户，从他的评分记录中随机抽取一个评分记录放入测试集，剩下的评分记录作为训练集。然后基于训练集学习到模型，并在测试集上进行评价。评价指标平均AUC（针对所有用户的均值）公式为：

$$AUC = \frac{1}{|U|} \sum_u \frac{1}{|E(u)|} \sum_{(i,j) \in E(u)} \delta(\hat{x}_{ui} > \hat{x}_{uj})$$
其中对于每个用户的评价Pair（评价组）为：
$$E(u) := \left \{ (i,j)|(u,i) \in S_{test} \wedge (u,j) \notin (S_{test} \cup S_{train}) \right \}$$
对于留一方法而言，每个用户的评价组数为1乘以既不在训练集又不在测试集中的产品个数。 $\delta(b)$是一个指示函数，当 $b$为真时函数值为1否则为0。当某算法预测的$\hat{x}_{ui}$大于 $\hat{x}_{uj}$时，记为1，否则为0。
显然更高的AUC表示更好的预测质量，随机猜测方法的AUC为0.5，最理想的预测方法的AUC为1。

应用举例

假设我们要测试某种推荐方法在一个用户商品交易记录上的推荐质量，评测指标使用AUC。

用户ID	商品ID
1	2
1	3
1	4
2	1
2	2
2	5

首先将其划分为训练集和测试集
训练集

用户ID	商品ID
1	2
1	3
2	1
2	2

测试集

用户ID	商品ID
1	4
2	5

预测的时候我们是基于训练集中的4条记录预测剩余6条记录中用户与商品发生交互作用的可能性。若某预测方法$S$得到剩余6条记录产生的分数值分别为$\hat{x}_{1,1}=0.4$,$\hat{x}_{1,4}=0.6$,$\hat{x}_{1,5}=0.7$,$\hat{x}_{2,3}=0.4$,$\hat{x}_{2,4}=0.6$,$\hat{x}_{2,5}=0.7$，那么有：
对于用户1：
$\delta(\hat{x}_{1,4} >\hat{x}_{1,1}) = 1$
$\delta(\hat{x}_{1,4} <\hat{x}_{1,5}) = 0$
对于用户2：
$\delta(\hat{x}_{2,5} >\hat{x}_{2,3}) = 1$
$\delta(\hat{x}_{2,5} >\hat{x}_{2,4}) = 1$
则预测算法$S$的AUC值为

$$AUC(S) = \frac {1 + 0 + 1 + 1}{4} = 0.75$$

---

1. Rendle S, Freudenthaler C, Gantner Z, et al. BPR: Bayesian personalized ranking from implicit feedback[C]//Proceedings of the twenty-fifth conference on uncertainty in artificial intelligence. AUAI Press, 2009: 452-461. ↩