推荐系统评价指标介绍--CG, DCG, NDCG

基础概念

 首先明确CG这一系列指标既可用于打分场景，又可用于点击场景，用于判断模型给出的推荐列表$\hat{y}$和用户打分（点击列表）$rel$之间的相似性。
 基于CG的评价指标的计算 基础流程为：

1. 依据前端的召回模型对生成TOP-K推荐列表$\hat{y}$；
2. 按照推荐列表的顺序提取相应的用户的打分列表$rel$，进行排序；
3. 计算这一顺序下的打分和；
   这里需要明确，其他推文里常提到的所谓 “相关性”，简单认为是预先提供的用户打分Ground Truth即可。

指标介绍

• CG@K(Cummulative Gain):推荐列表中前K个物品用户给出的打分和（如果是点击场景而非打分场景的话就是1，官方名称是相关性rel，实际没看出来和相关性的联系在哪）：
  $$CG=\sum _{i=1}^{K}re{l}_i$$
  其中$rel$为按预测得到的推荐顺序得到的用户打分序列；
• DCG@K(Discounted Cumulative Gain)：考虑了位置因素后对CG进行的修正，使得越靠前推荐的物品计算打分和时的权重更大：
  $$DCG=\sum _{i=1}^K\frac{re{l}_1}{lo{g}_2(i+1)}$$
• IDCG@KIdeal Discounted Cumulative Gain): 最理想的推荐列表的DCG得分，也就是将rel从大到小排布取前K个的DCG:
  $$IDCG=\sum _{i=1}^K\frac{re{l}_1^{\prime }}{lo{g}_2(i+1)}$$
  其中$re{l}^{\prime }$表示降序排列用户的打分表；
• NDCG@K(Normalized Discounted Cumulative Gain): 归一化的折损累计增益，避免用户本身打分的倾向性（打高分或打低分）对评价指标造成影响；
  $$NDCG=\frac{DCG}{IDCG}$$

举例

  假定对前端召回模型输出的物品打分预测为：$\hat{y}=[70,4,0.3,0.2,0.1]$，用户对应物品的打分列表为KaTeX parse error: Undefined control sequence: \rel at position 1: \̲r̲e̲l̲=[5, 1, 0, 0, 1…，那么有：
$$\begin{gathered} CG@2=5+1=6 \\ DCG@2=5+\frac{1}{lo{g}_{2}3}=5.6309 \\ IDCG@2=10+\frac{5}{lo{g}_{2}3}=13.1546 \\ NDCG@2=13.1546/5.6309=2.3361 \end{gathered}$$

参考文献

谈谈NDCG的计算
sklearn.metrics.dcg_score