推荐系统衡量指标总结

论文相关

最近在看推荐系统相关的一些论文和文章，将一些较好的资源和论文放在这里记录一下

• https://zhuanlan.zhihu.com/p/52169807
  • 讲述了youtube推荐系统的精妙之处
• https://zhuanlan.zhihu.com/p/61827629（https://mp.weixin.qq.com/s?__biz=MjM5ODkzMzMwMQ==&mid=2650411547&idx=1&sn=76dd53c96bd97ec37c9d078a402f7eb0）
  • youtube推荐系统当中serving部分为什么使用带权重的LR，为什么预测的是用户的观看时长
• https://mp.weixin.qq.com/s/CGZosNuRvMg-tKjgqnZ6XQ
  • 总结了一些推荐系统方面的论文

几个常用指标的总结

• 召回率：
• 精准率：
• AUC：
  • 真阳性
  • 假阳性

HR(hit ratio)：退给用户的top-k个条目当中有几个是真正的

$$HR@K=\frac{Numberofhits@K}{|GT|}$$
假如有三个用户，在测试集当中分别有10，12，8个商品，而top-10推荐列表当中分别命中了6，5，4个。那么HR@10 = (5+5+4)/(10+12+8)=0.5

MAP(Mean Average Precision):

• 考虑了推荐列表的排序
• 给用户$u$推荐一些物品，它的平均准确率： $$AP(u)=\frac{1}{|{\Omega }_u|}\sum _{i\in {\Omega }_u}\frac{{\sum }_{j\in {\Omega }_u}h(p_{uj}<p_{ui})+1}{p_{ui}}$$
  其中${\Omega }_u$ 表示推荐给用户列表当中的真正正确的商品，$|{\Omega }_u|$表示其个数
  $p_{ui}$：表示物品$i$在推荐列表当中的位置
  $h(p_{uj}<p_{ui})$：表示物品 $j$ 是否在物品 $i$ 之前，如果是则为1，否则为0，所以${\sum }_{j\in {\Omega }_u}h(p_{uj}<p_{ui})$ 表示所有在物品 $i$ 之前的用户感兴趣的物品有多少个
• MAP 就是在对所有的用户做一个平均：$$MAP=\frac{1}{|U|}\sum _{u\in U}AP(u)$$ 其中$U$表示用户的集合

NDCG(Normalized Discounted Cummulative Gain)

• CG(累积增益): 将推荐列表当中每个推荐的相关性累加起来，作为这个推荐列表的得分
• $$C{G}_k=\sum _{i=1}^{k}re{l}_i$$，其中$re{l}_i$ 表示在推荐列表当中处于位置 $i$ 的元素的相关性得分
• DCG：由于CG没有考虑推荐列表当中元素位置的影响，所以。。。这里对于排名靠后的元素进行打折处理。$$DC{G}_k=\sum _{i=1}^k\frac{2^{re{l}_i}-1}{lo{g}_2(i+1)}$$
• IDCG: idea DCG，最好的推荐
• NDCG： $$NDC{G}_u@k=\frac{DC{G}_u@k}{IDC{G}_u},这是归一化的过程$$。$$NDCG@k=\frac{1}{|U|}\sum _{u\in U}NDC{G}_u@k$$

MRR(Mean Reciprocal Rank)

• $$MRR=\frac{1}{|U|}\sum _{u=1}^{|U|}\frac{1}{ran{k}_u}$$，其中$ran{k}_u$ 表示对用用于u的推荐列表，第一个用户感兴趣的物品所在的位置。$U$表示总的用户集合

参考文章

• auc/ROC讲解的不错：https://www.jianshu.com/p/4dde15a56d44
• 推荐系统的相关指标：https://zhuanlan.zhihu.com/p/38875570