推荐系统常用的评价指标
应用背景介绍
我们用一张表格展示推荐系统向用户推荐的列表与用户真实的访问项目,如下:
用户 | 真实值 | 推荐列表 |
---|---|---|
A | 12 | 3,10,15,12,17 |
B | 3 | 20,15,18,14,30 |
C | 5 | 2,5,7,8,15 |
D | 14 | 56,14,25,12,19 |
E | 20 | 21,24,36,54,45 |
评价指标的知识来源
评价指标的来源是根据TKDE-2019中的一篇论文使用的方法:
命中率HR(Hits Ratio)
意义:关心用户想要的,我有没有推荐到,强调预测的“准确性”
H R = 1 N ∑ i = 1 N h i t s ( i ) HR=\frac{1}{N}\sum_{i=1}^{N}{hits(i)} HR=N1i=1∑Nhits(i)
参数说明:
N:用户的总数量
hits(i):第i个用户访问的值是否在推荐列表中,是则为1,否则为0
归一化折损累计增益(Normalized Discounted Cumulative Gain,NDCG)
意义:关心找到的这些项目,是否放在用户更显眼的位置里,即强调“顺序性“
N D C G = 1 N ∑ i = 1 N 1 l o g 2 ( p i + 1 ) NDCG=\frac{1}{N}\sum_{i=1}^{N}\frac{1}{log_{2}{(p_{i}+1)}} NDCG=