对推荐系统排序(Rank)评价指标的理解？

1、1.Mean Average Precision (MAP)

可能大家接触比较多的是MAP，MAP考虑的是0和1的排序。
$$AP=\frac{{\sum }_{j=1}^{n_i}P(j).y_{i,j}}{{\sum }_{j=1}^{n_i}{y}_{i,j}}$$
其中$y_{i,j}$：排序中第j个元素对于查询i是否是相关的；相关为1，不相关为0。
$$P(j)=\frac{{\sum }_{k:{\pi }_i(k)\le {\pi }_i(j)}y(i,k)}{{\pi }_i(j)}$$
其中${\pi }_i(j)$为j的排序位置。
例如，
rank_no    是否相关
1        1
2        0
3        1
4        0
5        1
6        0
则根据AP计算公式：
$$AP=(1\ast 1+(1/2)\ast 0+(2/3)\ast 1+(2/4)\ast 0+(3/5)\ast 0+(3/6)\ast 0)/3=\dots$$

举例，第一项，P(1) = 它前面的项（包括自己）相关的个数除所在排序的位置（也就是1）。第一位及前面（前面没有）相关的个数就是它本身，所以P(1)的分子就是1，分母也是1.所以取值为1。同时y值为1.最终的对应AP中的项就是1
其他以此类推。
AP的最大值为1（也就是当相关的全部排在不相关的前面的时候）
MAP就是对所有query的AP求平均。

2.Mean Reciprocal Rank (MRR)
$$MRR=\frac{1}{|Q|}\sum _{i=1}^{|Q|}\frac{1}{ran{k}_i}$$
其中|Q|是查询个数，ranki是第i个查询，第一个相关的结果所在的排列位置。
举例：

对于三个查询，每个查询的ranki分别为3、2、1。所以，
$$MRR=1/3\ast (1/3+1/2+1/1)$$

3.NDCG

NDCG是考虑到评分的排序。
说到NDCG就需要从CG开始说起。
CG（cumulative gain，累计增益可以用于评价基于打分/评分的个性推荐系统。假设我们推荐k个物品，这个推荐列表的$C{G}_k$计算公式如下：

$$C{G}_k=\sum _{i=1}^{k}re{l}_i$$
$re{l}_i$表示第k个物品的相关性或者评分。假设我们共推荐k个电影，$re{l}_i$可以是用户对第i部电影的评分。

比如豆瓣给用户推荐了五部电影，

$M_1,M_2,M_3,M_4,M_5$，

该用户对这五部电影的评分分别是

5, 3, 2, 1, 2

那么这个推荐列表的CG等于
$$C{G}_5=5+3+2+1+2=13$$
CG没有考虑推荐的次序，在此基础之后我们引入对物品顺序的考虑，就有了DCG(discounted CG)，折扣累积增益。公式如下：

$$DC{G}_k=\sum _{i=1}^k\frac{2^{re{l}_i}-1}{lo{g}_2(i+1)}$$
比如豆瓣给用户推荐了五部电影，

$M_1,M_2,M_3,M_4,M_5$，

该用户对这五部电影的评分分别是

5, 3, 2, 1, 2

那么这个推荐列表的DCG等于
$$DC{G}_5=\frac{2^5-1}{lo{g}_{2}2}+\frac{2^3-1}{lo{g}_{2}3}+\frac{2^2-1}{lo{g}_{2}4}+\frac{2^1-1}{lo{g}_{2}5}+\frac{2^2-1}{lo{g}_{2}6}=31+4.4+1.5+0.4+1.2=38.5$$
DCG没有考虑到推荐列表和每个检索中真正有效结果个数，所以最后我们引入NDCG(normalized discounted CG)，顾名思义就是标准化之后的DCG。

$$NDC{G}_k=\frac{DC{G}_k}{IDC{G}_k}$$
其中IDCG是指ideal DCG，也就是完美结果下的DCG。

继续上面的例子，如果相关电影一共有7部

$M_1,M_2,M_3,M_4,M_5,M_6,M_7$
该用户对这七部电影的评分分别是

5, 3, 2, 1, 2 , 4, 0

把这7部电影按评分排序

5, 4, 3, 2, 2, 1, 0

这个情况下的完美DCG是
$$IDC{G}_5=\frac{2^5-1}{lo{g}_{2}2}+\frac{2^4-1}{lo{g}_{2}3}+\frac{2^3-1}{lo{g}_{2}4}+\frac{2^2-1}{lo{g}_{2}5}+\frac{2^2-1}{lo{g}_{2}6}=31+9.5+3.5+1.3+1.2=46.5$$
所以
$$NDC{G}_5=\frac{DC{G}_5}{IDC{G}_5}=\frac{38.5}{46.5}=0.827$$
NDCG是0到1的数，越接近1说明推荐越准确。