推荐系统的评价指标笔记（NDCG、MAP、AUC、HR、MRR）

NDCG

Normalized Discounted Cummulative Gain

累积增益CG，CG表示每个推荐结果相关性的分数的累加，

$$C{G}_k=\sum _{i=1}^{k}r(i)$$

其中$re{l}_i$是位置$i$的推荐结果的相关性，$k$是推荐列表的大小.

如果我们考虑到位置对推荐的影响，比如，相关性高的应该尽量排在推荐列表的前面。这里引入DCG，考虑位置的影响因素：

$$DC{G}_k=\sum _{i=1}^k\frac{r(i)}{{\log }_2(i+1)}$$

如果$r(i)$的取值是 { 0 , 1 } \{0,1\} {0,1}，那么可以这样计算：

$$DC{G}_k=\sum _{i=1}^k\frac{2^{re{l}_i}-1}{{\log }_2(i+1)}$$

即：位置越靠后，缩小的比例就越大

现在的问题是，DCG仅仅是针对一个用户的推荐列表进行评估，但是每个用户的推荐列表长度不是全都一样，那么要在所有用户之间横向比较的话需要将数据归一化，即引入NDCG.

$$NDC{G}_u@K=\frac{DC{G}_u@K}{IDC{G}_u}$$

其中，IDCG是理想化状态的DCG，即已经按相关性大小完成排序.

举个例子，假设用户u得到一个长度为6的推荐列表，其相关性数组为 { 3 , 4 , 1 , 0 , 3 , 2 } \{3,4,1,0,3,2\} {3,4,1,0,3,2}，得到CG=3+4+1+0+3+2=13.

现在计算DCG：

i	r(i)	${\log }_2(i+1)$	$r(i)/{\log }_2(i+1)$
1	3	1.00	3.00
2	4	1.58	2.53
3	1	2.00	0.50
4	0	2.32	0
5	3	2.58	1.16
6	2	2.80	0.71

DCG = 3+2.53+0.5+0+1.16+0.71 = 7.9

理想状况的推荐列表 { 4 , 3 , 3 , 2 , 1 , 0 } \{4,3,3,2,1,0\} {4,3,3,2,1,0}，计算IDCG

i	r(i)	${\log }_2(i+1)$	$r(i)/{\log }_2(i+1)$
1	4	1.00	4.00
2	3	1.58	1.89
3	3	2.00	1.50
4	2	2.32	0.86
5	1	2.58	0.38
6	0	2.80	0

IDCG = 8.63

$NDC{G}_u@6=7.9/8.63=92.61\%$

可见，NDCG的值是介于(0,1]的.

MAP

Mean Average Precision

对于该指标的解释，就是希望用户选择的物品排在推荐列表的越前面越好.
参考：https://makarandtapaswi.wordpress.com/2012/07/02/intuition-behind-average-precision-and-map/

假设我们收到一个推荐 C = { 1 , 2 , 3 , 4 , 5 , 6 } \mathbf C=\{1,2,3,4,5,6\} C={1,2,3,4,5,6},我们的购买列表是 T = { 1 , 4 , 5 , 6 } \mathbf T=\{1,4,5,6\} T={1,4,5,6},那么我们可以得到一个集合 Ω = { 1 , 0 , 0 , 1 , 1 , 1 } \Omega=\{1,0,0,1,1,1\} Ω={1,0,0,1,1,1}，其中$|\Omega |=|\mathbf{C}|$,
if $c_i\in \mathbf{C}\cap \mathbf{T},{\Omega }_i=1,\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e},{\Omega }_i=0.(i=1,2,...,|\mathbf{C}|)$
可以有一个和$\Omega$一样长的的集合来表示位置i（包括i）之前有多少比例的物品被购买了，即 { 1 , 0 , 0 , 2 4 , 3 5 , 4 6 } \{1,0,0,\frac24,\frac35,\frac46\} {1,0,0,42​,53​,64​}
所以公式就可以表示为:
$$A{P}_u=\frac{1}{|\mathbf{T}|}\sum _{i=1}^{|\Omega |}\frac{{\Omega }_i{\sum }_{j=1}^i{\Omega }_j}{i}$$

其中$u$代表用户$u$，对每个用户求得AP，再求平均即为MAP.
$$MAP=\frac{{\sum }_{u\in \mathbf{U}}A{P}_u}{|\mathbf{U}|}$$

AUC

Area Under Curve

这里的curve指ROC曲线,AUC就是曲线下的面积

ROC曲线是一系列threshold下的（FPR，TPR）数值点的连线。此时的threshold的取值分别为测试数据集中各样本的预测概率，但取各个概率的顺序是从大到小的，ROC图中，横坐标是FPR伪阳率，FPR=FP/(FP+TN)，纵坐标是TPR，真阳率，TPR=TP/(TP+FN)

用推荐系统评价指标综述笔记_pocket_eight的博客-CSDN博客的例子，FPR=3/(3+5)=0.38，TPR=18/(22)=0.82

那么如何标记这么多点呢？在真假例的二分类判断中，有一个预测为真的阈值，例如预测率超过80%就判定为真，这个0.8就是阈值，将阈值从0到1不断调整，可以得到n组FPR、TPR的值对，将这些值在坐标系中描出来，就得到了ROC曲线。

AUC值越大的分类器，正确率越高。

HR

Hit Ratio

$$HR@K=\frac{NumberOfHits@K}{GT}$$

分母是所有测试集合，分子表示每个用户top-K列表中属于测试集合个数的和

举例：有3个用户，三个用户在测试集中的商品个数为6,8,10，得到的top5商品在测试集中的商品个数分别为2,3,4，那么

$HR@5=\frac{2+3+4}{6+8+10}=0.375$

MRR

平均倒数排名(Mean Reciprocal Rank,MRR)
$$MRR=\frac{1}{N}\sum _{i=1}^N\frac{1}{p_i}$$
关注推荐的项目是否靠前

$N$:真实点击总数
$p_i$:item_i在推荐列表中出现的位置，如果没有出现就是$p_i\to \infty$