归一化折扣累积增益

归一化折扣累积增益（Normalized Discounted Cumulative Gain, NDCG）是用于评估排序结果质量的指标，特别是在搜索引擎和推荐系统中。它帮助我们衡量返回结果的相关性，尤其是在用户的兴趣中排名靠前的结果是否更相关。

通俗解释

1. 折扣累积增益（DCG）:

   • 什么是增益：增益表示每个结果的相关性。例如，在搜索结果中，如果某个结果很相关，它的增益很高。如果不相关，它的增益很低。
   • 累积增益：累积增益是将所有结果的增益加起来，以便得出整个排序的增益值。
   • 折扣：折扣是一个重要的概念，表示结果在排名靠后的位置所带来的增益会减少。简单来说，排名越靠后的结果，越少的增益值被考虑，因为用户通常关注排名靠前的结果更多。折扣通常用一个递减函数来实现，比如对排名靠后的结果应用一个衰减因子（例如 $1/\log_2(\text{排名}+1)$）。

   计算折扣累积增益（DCG）的公式是：

   

    

   其中，$rel_i$ 是第 $i$ 个结果的相关性评分，$n$ 是结果的总数。

2. 归一化折扣累积增益（NDCG）:

   • 归一化：为了比较不同查询的结果，DCG 需要被归一化。归一化是通过计算理想情况（即如果所有结果都按相关性排序后的 DCG）来实现的。这样，我们可以得到一个在 0 到 1 之间的评分，1 表示排序完全理想。

   计算 NDCG 的公式是：

   

    

   其中，IDCG 是理想折扣累积增益，即所有结果按相关性排序后的 DCG。

实际例子

想象你在使用搜索引擎寻找信息，你输入了一个查询词并得到了几个结果。你对这些结果有不同的相关性评分（如 3 表示非常相关，2 表示相关，1 表示稍微相关，0 表示不相关）。

• DCG 计算：假设前 5 个搜索结果的相关性评分分别是 [3, 2, 3, 0, 1]，那么 DCG 就是这些评分经过折扣后的累积和。
• IDCG 计算：如果你能得到一个理想排序的相关性评分，比如 [3, 3, 2, 1, 0]，那么计算 IDCG 就是这些理想评分经过折扣后的累积和。
• NDCG 计算：NDCG 是 DCG 除以 IDCG，这样你就可以得到一个标准化的评分。这个评分越接近 1，表示你的搜索结果排序越好，越符合用户的期望。

总结

NDCG 是用来评估搜索结果或推荐系统中结果排序质量的指标。它通过考虑相关性和位置的折扣来衡量排序的好坏，确保排名靠前的结果对用户最有价值。