搜索评价指标NDCG、MAP

最新推荐文章于 2024-09-01 14:09:34 发布
最新推荐文章于 2024-09-01 14:09:34 发布
阅读量1.6k 收藏 5
点赞数 1
分类专栏： 推荐算法

转载：https://www.cnblogs.com/by-dream/p/9403984.html 

           http://lixinzhang.github.io/xin-xi-jian-suo-zhong-de-ping-jie-zhi-biao-maphe-ndcg.html

NDCG

　　NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想：

　　1、高关联度的结果比一般关联度的结果更影响最终的指标得分；

　　2、有高关联度的结果出现在更靠前的位置的时候，指标会越高；

累计增益（CG）

　　CG，cumulative gain，是DCG的前身，只考虑到了相关性的关联程度，没有考虑到位置的因素。它是一个搜素结果相关性分数的总和。指定位置p上的CG为：

                                                                     

　　reli 代表i这个位置上的相关度。

　　举例：假设搜索“篮球”结果，最理想的结果是：B1、B2、 B3。而出现的结果是 B3、B1、B2的话，CG的值是没有变化的，因此需要下面的DCG。

折损累计增益（DCG）

　　DCG， Discounted 的CG，就是在每一个CG的结果上处以一个折损值，为什么要这么做呢？目的就是为了让排名越靠前的结果越能影响最后的结果。假设排序越往后，价值越低。到第i个位置的时候，它的价值是 1/log2(i+1)，那么第i个结果产生的效益就是 reli * 1/log2(i+1)，所以：

                                                  

　　当然还有一种比较常用的公式，用来增加相关度影响比重的DCG计算方式是：

                                                               

　　百科中写到后一种更多用于工业。当然相关性值为二进制时，即 reli在{0,1}，二者结果是一样的。当然CG相关性不止是两个，可以是实数的形式。

归一化折损累计增益（NDCG）

　　NDCG， Normalized 的DCG，由于搜索结果随着检索词的不同，返回的数量是不一致的，而DCG是一个累加的值，没法针对两个不同的搜索结果进行比较，因此需要归一化处理，这里是除以IDCG。

                                                                  

　　IDCG为理想情况下最大的DCG值。

                                                                  

　　其中 |REL| 表示，结果按照相关性从大到小的顺序排序，取前p个结果组成的集合。也就是按照最优的方式对结果进行排序。

 实际的例子

　　假设搜索回来的5个结果，其相关性分数分别是 3、2、3、0、1、2

　　那么 CG = 3+2+3+0+1+2

　　可以看到只是对相关的分数进行了一个关联的打分，并没有召回的所在位置对排序结果评分对影响。而我们看DCG：

irelilog2(i+1)reli /log2(i+1)
1313
221.58　　1.26
3321.5
402.320
512.580.38
622.80.71

　　所以 DCG  = 3+1.26+1.5+0+0.38+0.71 = 6.86

　　接下来我们归一化，归一化需要先结算 IDCG，假如我们实际召回了8个物品，除了上面的6个，还有两个结果，假设第7个相关性为3，第8个相关性为0。那么在理想情况下的相关性分数排序应该是：3、3、3、2、2、1、0、0。计算IDCG@6:

irelilog2(i+1)reli /log2(i+1)
1313
231.581.89
3321.5
422.320.86
522.580.77
612.80.35

　　所以IDCG = 3+1.89+1.5+0.86+0.77+0.35 = 8.37

　　so 最终 NDCG@6 = 6.86/8.37 = 81.96%

青松愉快
关注
专栏目录
召回评价指标之NDCG full or half
NLP与推荐算法
07-31 1799
hi,dear 大佬 在召回中评价筛出来的item是不是符合要求，除了HR外还可以看MAP或NDCG，这俩效果差不多， 主要是考察命中的item是不是靠前，都是越靠前（MAP/NDCG越大）越好. For Video Recommendation in Deep learning QQ Group 277356808 For Visual in deep learning QQ Group629530787 I'm here waiting for you ...
推荐系统常用评价指标(recall,MAP,MRR,NDCG,F1,ROC等)
Marcus-Bao的个人主页
03-05 7724
这里主要总结一下推荐系统当中常见的一些评价指标,主要包括: MAE,RMSE,recall,precision,MAP,MRR,NDCG等 MAE(Mean Average Error,平均绝对误差) 表示预测值和实际值之间的绝对误差的平均值. ##RMSE(Root Mean Square Error,均方根误差) 均方根误差是用来衡量观测值同真实值之间的偏差,RMSE越小越好. ##Reca...
NDCG、AUC介绍
热门推荐
Arthur-Chen的专栏
08-30 2万+
最近在
搜索评价指标——NDCG
jingshuiliushen_zj的博客
10-11 5156
概念 　　NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想： 　　1、高关联度的结果比一般关联度的结果更影...
目标检测评价指标详解（mAP、AP、FPS）
最新发布
qq_40980981的博客
09-01 587
map（mean Average Precision，平均准确度均值）平均正确率（AP），准确率 （Accuracy），精确率（Precision），召回率（Recall）。FPS（即每秒处理的图片数量或者处理每张图片所需的时间，在同一硬件条件下进行比较）
排序评估指标——NDCG和MAP
comli_cn的博客
02-18 4805
用实例理解NDCG和MAP
NDCG的理解
weixin_30391339的博客
05-29 193
2019-05-2914:15:44 转载于:https://www.cnblogs.com/TIMHY/p/10943600.html
信息检索中常用的评价指标：MAP,nDCG,ERR,F-measure
tzl2093的博客
04-10 1万+
知识点文本检索常用的评价指标：MAP、nDCG、ERR、F-score/F-measure以及附加的Precision、Recall、AveP、CG、DCG、IDCG、MRR、cascade models 一，MAP Precision(P)： 准确率(精确度)是指检索得到的文档中相关文档所占的比例，公式如下： precision=|{relevantdocuments}⊆{ret
信息检索的评价指标介绍——MAP，NDCG
ictcxq的博客
01-23 1712
MAP MAP: Mean Average Precision，表示信息检索系统（搜索引擎）的平均正确率。其公式如下： MAP=∑Qq=1AveP(q)QMAP = \frac {\sum_{q=1}^Q AveP(q)}{Q} 其中，QQ表示query的数量，AvePAveP表示每条query的平均准确率，其计算公式如下： AveP=∑nk=1(P(k)∗rel(k))总相关文档数量Av
学习到排名：NDCG与MAP评估标准的深度解析
本文档深入探讨了在机器学习领域日益重要的"学习到排序"（Learning to Rank）方法中的评估指标，特别是NDCG（Normalized Discounted Cumulative Gain）和MAP（Mean Average Precision）。这两者在衡量排序算法性能时...
NDCG和MAP的含义
asd8705的专栏
02-17 793
原文地址：http://blog.sina.com.cn/s/blog_4c98b960010008h4.html NDCG（全称为Normalized Discounted Cumulative Gain）对传统的评价标 准做出了改进，这些改进基于以下两个原则： 第一，在信息检索中，相关可以分为多个级别，高度相关的文档比部分相关的文档更有价值，其在评价中应该赋予更大的权值。 第二，文档在
NDCG(用于IR)
weixin_30622181的博客
11-22 144
NDCG（normalized discounted cumulative gain，归一化折损累计增益）是一种近年来逐渐被采用的指标，尤其是在基于机器学习的排序方法中。NDCG是针对连续值的指标，它基于前k个检索结果进行计算。设R(j,d)是评价人员给出的文档d对查询j的相关性得分（通常是一个概率），那么有： 其中，用于保证对于查询j最完美系统的NDCG在k的位置得分是1，m是...
NDCG 计算
xiedelong的博客
01-27 4227
参考 https://zhuanlan.zhihu.com/p/136199536 http://zhaoxi-sight.com/artificial-intelligence/%E6%90%9C%E7%B4%A2%E7%B3%BB%E7%BB%9F%E4%B9%8B%E8%AF%84%E4%BB%B7%E6%8C%87%E6%A0%87ndcg/ 含义 高相关性的文档在搜索引擎结果列表越早出现越好。即高相关性的文档出现的位置越靠前，指标会越高。 NDCG 同样可以用来计算推荐系统中，召回、排序的平均点
理解NDCG排序指标
AcceptedLin的博客
10-05 5710
理解NDCG排序指标 关于NDCG，wiki给点解释很详细，这里我谈谈我的理解。 NDCG（Normalizeddiscounted cumulative gain）：是用来衡量排序质量的指标。 其中一种计算公式如下： 先从理解CG,DCG入手。CG（cumulative gain），累...
IR的评价指标-MAP，MRR和NDCG的形象理解
anshuai_aw1的博客
10-17 9248
一 、MAP(Mean Average Precision)： 单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。 只有1和0，1代表相关，0代表不相关。 例如：假...
NDCG评价指标讲解
u011926899的专栏
09-26 1万+
Normalized Discounted Cumulative Gain，即NDCG，常用于作为对rank的评价指标，当我们通过模型得出某些元素的ranking的时候，便可以通过NDCG来测评这个rank的准确度，同样的算法还包括MAP,MRR等，这里只讲解NDCG。 我们通过一个实例来说明一下这个NDCG的用法 id 1 2 3 4 5 模型评分
排序指标NDCG
huangdunxian的专栏
06-29 4630
NDCG（Normalized distributed cumulative gain），用来衡量排序质量的指标。 计算公式为： NDCG的计算：CG–>DCG–>NDCGCG：网页gain的累加。gain可以是自己定义的，用来衡量网页的相关程度。在NDCG中，相关度分成从0到r+1的等级（r是可设定的）： 相关度=2r−1相关度=2^r-1 例如现在有一个query={abc}，返回下图左
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值