P@K,MAP,MRR以及NDCG相关计算公式

最新推荐文章于 2025-03-19 14:14:22 发布
最新推荐文章于 2025-03-19 14:14:22 发布
阅读量3.2k 收藏 2
点赞数
分类专栏： 信息检索 文章标签： 信息检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ywqdy/article/details/111914944
版权
本文介绍了信息检索领域的几个关键评估指标：Precision@K（P@K）、Mean Average Precision (MAP)、Mean Reciprocal Rank (MRR) 和 Normalized Discounted Cumulative Gain (NDCG)。详细阐述了它们的计算公式，包括AP的平均精度计算，MRR的概念，以及DCG和NDCG在评价排序效果中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

P@K,MAP,MRR以及NDCG相关计算公式

Precision@K（P@K):
在这里插入图片描述
Average precision(AP) = average of P@K
上图中AP=1/3*（2/3+2/4+3/5）

MAP计算公式为：
在这里插入图片描述
+++++++++++++++
MRR:
在这里插入图片描述
+++++++++++++++
NDCG相关计算：

Cumulative Gain at rank n (CG):

最低0.47元/天 解锁文章
推荐系统常用评价指标(recall,MAP,MRR,NDCG,F1,ROC等)
Marcus-Bao的个人主页
03-05 8176
这里主要总结一下推荐系统当中常见的一些评价指标,主要包括: MAE,RMSE,recall,precision,MAP,MRR,NDCG等 MAE(Mean Average Error,平均绝对误差) 表示预测值和实际值之间的绝对误差的平均值. ##RMSE(Root Mean Square Error,均方根误差) 均方根误差是用来衡量观测值同真实值之间的偏差,RMSE越小越好. ##Reca...
【推荐算法】从零开始做推荐（二）——TopK推荐的评价指标，计算原理与样例
乐川大佛的博客
03-25 1万+
前言   推荐系统挺有趣的，但对做研究的人来讲上手有很多坑。相比于图像领域数据集、代码公开透明，评价指标高度统一，推荐系统仍处在整合阶段，龙蛇混杂。   在撰写论文的时候，难点不仅在于自己的方法，还在于实现他人的算法进行对比。如果代码不公开，自己实现他人的方法一方面费时费力，另一方面还不知道有没有复现准确。   本系列打算在推荐系统公开数据集上一步步实现完整推荐，并实现多个经典的推荐算法。由于本人...
推荐系统中的NDCG
蕾姆的博客
10-18 2870
说到NDCG就需要从CG开始说起。 CG（cumulative gain，累计增益）可以用于评价基于打分/评分的个性推荐系统。假设我们推荐k个物品，这个推荐列表的CGk计算公式如下： CGk=∑ikreliCG_k=\sum _i^k rel_iCGk​=i∑k​reli​. relirel_ireli​ 表示第kkk个物品的相关性或者评分。假设我们共推荐kkk个文档，relirel_ireli​...
DCG, NDCG 公式及其实现
止鱼
05-03 5793
DCG, NDCG Normalized Discounted Cumulative Gain(归一化折损累计增益) NDCG用作排序结果的评价指标，评价排序的准确性。 推荐系统通常为某用户返回一个item列表，假设列表长度为K，这时可以用NDCG@K评价该排序列表与用户真实交互列表的差距。 解释： Gain: 表示列表中每一个item的相关性分数 Gain = r(i) Cumulati...
RAG评估指标 Recall、MRR、NDCG
最新发布
u010249118的博客
03-19 873
指标核心目标适用场景局限性Recall减少漏检疾病诊断、安防检测忽略误检，需与 Precision 平衡MRR优化首位结果质量导航搜索、事实查询忽略后续结果，仅关注首个命中NDCG多等级排序质量评估推荐系统、个性化搜索计算复杂，需明确相关性等级定义参考资料：Recall 的定义与目标检测应用；：MRR 的计算与搜索场景；：NDCG 的原理与代码实现。
NDCG 计算
xiedelong的博客
01-27 4359
参考 https://zhuanlan.zhihu.com/p/136199536 http://zhaoxi-sight.com/artificial-intelligence/%E6%90%9C%E7%B4%A2%E7%B3%BB%E7%BB%9F%E4%B9%8B%E8%AF%84%E4%BB%B7%E6%8C%87%E6%A0%87ndcg/ 含义 高相关性的文档在搜索引擎结果列表越早出现越好。即高相关性的文档出现的位置越靠前，指标会越高。 NDCG 同样可以用来计算推荐系统中，召回、排序的平均点
排序指标NDCG
huangdunxian的专栏
06-29 4779
NDCG（Normalized distributed cumulative gain），用来衡量排序质量的指标。 计算公式为： NDCG的计算：CG–>DCG–>NDCGCG：网页gain的累加。gain可以是自己定义的，用来衡量网页的相关程度。在NDCG中，相关度分成从0到r+1的等级（r是可设定的）： 相关度=2r−1相关度=2^r-1 例如现在有一个query={abc}，返回下图左
搜索引擎质量指标(nDCG)
LintaoD的博客
09-12 6889
检索中搜索引擎质量指标 1. DCG(Discounted Cumulative Gain) 1.1 介绍   衡量搜索引擎 rank 质量指标(DCG – Discounted Cumulative Gain)，在信息检索中，它通常用于衡量 Web搜索引擎算法或相关应用程序的有效性。DCG 在搜索引擎结果集中使用文档的相关性评分，根据文档在结果列表中的位置来衡量文档的有用性或增益...
信息检索中常用的评价指标：MAP,nDCG,ERR,F-measure
tzl2093的博客
04-10 1万+
知识点文本检索常用的评价指标：MAP、nDCG、ERR、F-score/F-measure以及附加的Precision、Recall、AveP、CG、DCG、IDCG、MRR、cascade models 一，MAP Precision(P)： 准确率(精确度)是指检索得到的文档中相关文档所占的比例，公式如下： precision=|{relevantdocuments}⊆{ret
【机器学习】排序问题（Ranking） 中使用的指标及示例代码
LogM的博客
07-06 1279
排序（Rank）问题使用的指标
NDCG归一化折损累积增益
weixin_37598719的博客
06-03 1555
NDCG常用于TOP-K排序的评价指标，不仅体现了预测的TOP-K个结果是否真的相关(有无点击)，同时体现这TOP-K个结果的相对排序。 累积增益CG：推荐系统中CG表示将每个推荐结果相关性的分值累加后作为整个推荐列表的得分： CGk=∑i=1kreli​CG_k = \sum_{i=1} ^{k}rel_i ​CGk​=∑i=1k​reli​​ 其中， relir e l_ ireli​ 表示位置 iii 的预测结果的相关性，kkk 表示推荐列表的大小。 CG没有考虑每个推荐结果处于不同位置对整个推荐结果
【推荐搜索评价指标一】NDCG-概念-原理-推导-代码
凝眸伏笔的博客
04-18 3051
鄙人愚见： 相比于推荐，搜索结果，更加关注排序的位置。所以评价指标中加入位置信息可以理解，但是有人说用该指标衡量推荐效果，茫茫然的感觉，总觉得不合适。个人觉得推荐是强推出一系列item，对item之间的相关性要求不高，并且item之间的相关性不能太高！！为什么？如果推荐的item都是一个类别，你还想继续看吗？纯属过推荐，让用户喷做的啥东东。。。推荐中需要考虑一些多样性，结合用户喜好，增加多样性，...
经常性收入、MRR、ARR 的定义和计算方法
m0_62700043的博客
08-26 3079
什么是经常性收入、MRR、ARR？MRR、ARR 的如何计算？怎么提升 MRR、ARR？
搜索推荐评价指标Precision@k、Recall@k、F1@k、NDCG@k
热门推荐
藏知阁
11-03 15万+
假设对于一个查询，真实相关的结果是{A，C，E, Q}，搜索模型得到5个结果{A, B, C, D, E}，则其中只有A，C，E是相关的，标记为{1, 0, 1, 0, 1}，1表示相关，0表示不相关。 Precision@k 即预测正确的相关结果占返回的所有结果的比例： Precision@k=TP@kTP@k+FP@k Precision@k = \frac{TP@k}{TP@k+FP@k} Precision@k=TP@k+FP@kTP@k​ 取值范围[0,1]，越大越好。 例子： Precision
信息检索P@10、MAP、NDCG，及同一指标计算的差别
more_ugly_less_bug的博客
01-16 4万+
问题源于我在重现一篇信息检索方面顶会论文实验的时候，始终计算不出与论文中相同的实验结果。论文的实验用到了P@10，MAP,NDCG@10三种指标。我先是用了Galago提供的计算工具，发现除P@10一项指标结果一致外，MAP,NDCG@10两项都有很大的不同。经过观察发现虽然实验结果的数据不同，但是实验结果的趋势是相同的（实验是对几种排名算法进行评比，尽管得到了不同的数据，但是用这些数...
信息检索(IR)—评价指标(二)
hei653779919的博客
05-05 3974
信息检索(IR)—评价指标(二) 接上一篇文章： 信息检索(IR)—评价指标(一)
NLP 的 Task 和 Metric (Perplexity，BLEU，METOR，ROUGH，CIDEr)
ZhengrongYue的博客
09-19 1546
NLP任务评价指标(BLEU，METOR，ROUGH，CIDEr)
推荐算法——NDCG归一化折扣累积增益
AndrewPerfect的博客
07-11 370
（Normalized Discounted Cumulative Gain），是一种常用的衡量搜索引擎和推荐系统结果质量的指标。NDCG考虑了结果的相关性和结果的排名位置，其值在0到1之间，值越大表示搜索结果质量越高。IDCG是理想情况下的DCG，即结果按相关性排序时的DCG。其计算方法与DCG相同，只不过结果列表是按相关性降序排列的。其中，relirel_ireli​ 表示结果列表中第 iii 个结果的相关性评分，ppp 是结果列表的长度。
MRR、MAP、NDCG代码
03-27
由于MRR、MAP和NDCG都是评估指标，需要根据具体的任务和数据集进行实现。以下是一些常见任务的评估指标实现示例： 1. 信息检索任务中的MRR实现： ```python def mean_reciprocal_rank(results, relevant_docs): for i, r in enumerate(results): if r in relevant_docs: return 1.0 / (i + 1) return 0.0 # 示例 relevant_docs = [1, 3, 5] results = [3, 4, 2, 1, 5] print(mean_reciprocal_rank(results, relevant_docs)) # 输出 0.3333 ``` 2. 信息检索任务中的MAP实现： ```python def average_precision(results, relevant_docs): precision = 0.0 num_relevant = 0 for i, r in enumerate(results): if r in relevant_docs: num_relevant += 1 precision += num_relevant / (i + 1) return precision / len(relevant_docs) def mean_average_precision(results_list, relevant_docs_list): map_score = 0.0 for results, relevant_docs in zip(results_list, relevant_docs_list): map_score += average_precision(results, relevant_docs) return map_score / len(results_list) # 示例 relevant_docs_list = [[1, 3, 5], [2, 4, 6], [3, 5, 7]] results_list = [[3, 4, 2, 1, 5], [3, 2, 4, 5, 1], [7, 6, 5, 4, 3]] print(mean_average_precision(results_list, relevant_docs_list)) # 输出 0.5 ``` 3. 推荐系统任务中的NDCG实现： ```python import numpy as np def ndcg(recommended_items, relevant_items, k): dcg = 0.0 idcg = np.sum(1.0 / np.log2(np.arange(2, k + 2))) for i, r in enumerate(recommended_items[:k]): if r in relevant_items: dcg += 1.0 / np.log2(i + 2) return dcg / idcg # 示例 recommended_items = [1, 2, 3, 4, 5] relevant_items = [1, 3, 5] print(ndcg(recommended_items, relevant_items, 5)) # 输出 0.6244 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值