MAP 与 MRR

最新推荐文章于 2024-01-10 13:21:27 发布
最新推荐文章于 2024-01-10 13:21:27 发布
阅读量1.4w 收藏 9
点赞数 8
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackerzer/article/details/79632951
版权
本文介绍了MAP（Mean Average Precision）和MRR（Mean Reciprocal Rank）这两个信息检索评估指标，详细解释了它们的计算方法和应用场景。通过具体的示例，阐述了如何计算MAP和MRR，并指出它们在衡量系统性能时的重要性。
摘要由CSDN通过智能技术生成

看论文时，发现对于wikiqa的评价指标常设为MAP、MRR这些Rank排序的指标，不是很理解，看了下面这篇博客有些理解了

http://blog.csdn.net/lightty/article/details/47079017 


在MAP中，四个文档和query要么相关，要么不相关，也就是相关度非0即1。

MAP(Mean Average Precision)：

最低0.47元/天 解锁文章
python的 MAP, RPrec, MRR, NDCG, MRR@10 计算代码
Talk Is Cheap
08-09 5837
import numpy as np def average_precision(gt, pred): """ Computes the average precision. This function computes the average prescision at k between two lists of items. Parameters ------...
推荐系统常用评价指标(recall,MAP,MRR,NDCG,F1,ROC等)
Marcus-Bao的个人主页
03-05 7858
这里主要总结一下推荐系统当中常见的一些评价指标,主要包括: MAE,RMSE,recall,precision,MAP,MRR,NDCG等 MAE(Mean Average Error,平均绝对误差) 表示预测值和实际值之间的绝对误差的平均值. ##RMSE(Root Mean Square Error,均方根误差) 均方根误差是用来衡量观测值同真实值之间的偏差,RMSE越小越好. ##Reca...
问答系统QA的评价指标MAP、MRR、Accuracy@N
lppfwl的博客
09-29 7029
问答系统性能的评价指标MAP、MRR、Accuracy@N MAP(mean average precision) 即平均准确率，系统对所有候选答案进行评分，并按分值大小进行排序，正确答案越靠前，MAP值就越大 计算方式如下： 参考：https://www.jianshu.com/p/e1664861bc9d 比如共有三个问题，问题1有3个直接相关的答案，问题2有2个直接相关的答案，问题3有4个直接相关的答案。系统返回的答案中，问题1的3个答案的排序为1，3，5；问题2的2个答案的排序为2，3；问题3的4
MAP与MRR
最新发布
XUYH6904的博客
01-10 737
1.MAP（Mean Average Precision，平均精度均值）：MAP是一种常用的信息检索系统评价指标，用于衡量一个系统返回的前n个检索结果中，相关文档所占的比例与实际相关文档数之间的关系。其计算方法为：对于每个查询，找到第一个相关文档的排名n，将1/n作为该查询的分数，最后求所有查询的分数的平均值作为MRR值。MAP将系统返回的前n个检索结果中每个相关文档的精度作为评价指标，而MRR只关注系统返回的第一个相关文档的排名。优点：MRR简单易懂，能够反映出系统返回的第一个相关文档的排名情况。
图像标注中常用的性能指标评估方法
机器智能
05-22 2134
不断更新中... MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。 例如：假设有两个主题，主
MRR vs MAP vs NDCG：具有排序意义的度量指标的可视化解释及使用场景分析
AI公园
07-04 4278
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Moussa Taifi, Ph.D编译：ronghuaiyang导读3种指标，各有优缺点，各有适用场景，分析给你看。机器...
IR的评价指标-MAP，MRR和NDCG的形象理解
anshuai_aw1的博客
10-17 9408
一 、MAP(Mean Average Precision)： 单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。 只有1和0，1代表相关，0代表不相关。 例如：假...
P@K,MAP,MRR以及NDCG相关计算公式
ywqdy的博客
12-29 3147
P@K,MAP,MRR以及NDCG相关计算公式 Precision@K（P@K): Average precision(AP) = average of P@K 上图中AP=1/3*（2/3+2/4+3/5） MAP计算公式为： +++++++++++++++ MRR: +++++++++++++++ NDCG相关计算： Cumulative Gain at rank n (CG): Discounted Cumulative Gain (DCG): （log2(1)=0所以rel1单独拎出来了）
机器学习中的MR和MRR
Norstc的博客
03-29 4242
设有一个test集，大小为M，对其进行分类，label的数目共有N个。那么预测结果共有M个，每个结果是对于N个label的评分，设第i个test目标的groud-truth排名为。 MR（Mean Rank，平均排名）： MRR（Mean Reciprocal Rank，平均倒数排名）： 可见，MR越小越好，MRR越大越好。 MR的取值范围： MRR的取值范围：，（注意倒数，即1除以原数，而不是倒着数） 举例： N=1000，M=10， eg1：排名结果是前9个都是1，最后一个是
KGC的衡量指标（MR、MRR、Hits@n）
syy1292的博客
03-01 1655
衡量知识图嵌入的常见指标MRR、MR、Hits@n
IR的评价指标之MRR
weixin_33693070的博客
02-22 827
MRR(Mean Reciprocal Rank)：  　　是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。 　　 把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度，再对所有的问题取平均。相对简单，举个例子：有3个query如下图所示： (黑体为返回结果中最...
信息检索与数据挖掘 | 【实验】检索评价指标MAP、MRR、NDCG
知识库搭建ing
11-14 2803
MAP、MRR、NDCG
SaaS公司投资分析时，MRR比ARR指标更有用 | 投资人说
weixin_34309435的博客
07-04 1437
“顺时而动，因时而变”，快速把握公司所处的发展阶段，并采取对应的策略，公司的发展方可万年长青。但Boss们可能忽略了ARR与MRR两大参数，因此对某一发展阶段的关键问题采取了不恰当的应对措施，给公司发展带来了莫大损失。 Foundry Group 的 Brad Feld 在“The Journey From $1m MRR to $2m MRR”一文中介...
排序类问题度量指标:Recall , MAP，MRR
weixin_30307267的博客
05-03 703
信息检索领域的度量指标 对于给定的一个查询，返回了一系列文档。 1. Precision 精度：返回结果中相关文档的比重。P = 返回相关文档数/返回中文档数 2.Recall 召回率：返回结果中相关文档占总相关文档的比重。 Recall = 返回相关文档数/总相关文档数。 评价排序类问题的性能时，要同时考虑排序结果中相关个体的数目，也要考虑相关个体在整个列表中位置。当相关个体返回的越多，...
评价指标 MRR
s1162276945的博客
08-19 1万+
MRR(Mean Reciprocal Rank, 平均倒数排名) 是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。...
推荐系统中的MRR指标
weixin_44110392的博客
03-06 7736
MRR（Mean reciprocal rank） MRR最早是在搜索场景下衡量，返回结果的质量。 其基于一个假设“每一个query Q只有一个与其相关(relevant)的结果A” 指标反应的是我们找到的这些item是否摆在用户更明显的位置，强调位置关系，顺序性。公式如下，N表示推荐次数，1/p表示用户真实访问的item在结果列表中的位置，如果没在结果序列中，则p为无穷大，1/p为0。 如上图，有N次搜索，p_i是第i次搜索的结果中最相关结果的位置，其倒数就是返回结果的质量。 python实现： '''
P，AP， MAP，MRR。几种分类器评价指标
weixin_44616471的博客
09-18 1605
P，AP， MAP，MRR几种分类器评价指标 P准确率（Precision） AP（Average Precision）：平均准确率——平均是对于不同的验证集的平均 MAP（Mean Average Precision）：平均准确率的均值——均值是对于所有类别取均值（二分类的话则针对正样本和负样本的AP取均值，例如：90%的正样本，10%的负样本，如果采用全部输出为正的分类器，那么P正=0.9,...
MRR-推荐算法评价指标
热门推荐
jiangjiane
08-26 3万+
平均倒数排名（Mean Reciprocal Rank, MRR）是一个国际上通用的对搜索算法进行评价的机制。 描述 第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。 数学形式 正确检索结果值在检索结果中的排名来评估检索系统的性能。 其中，是用户的个数，是对于第个用户，推荐列表中第一个在ground-t...
知识图谱常用评价指标：MRR，MR，HITS@K，Recall@K，Precision@K
l8947943的博客
11-14 2万+
MRR的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。该指标越大越好（即预测排名越靠前，倒数就越大，求和结果越大越好）。MRR=∣S∣1​∑i=1∣S∣​ranki​1​=∣S∣1​(rank1​1​+rank2​1​+⋅⋅⋅+ranki​1​)其中S是三元组集合，∣S∣是三元组集合个数，ranki。
MRR、MAP、NDCG代码
03-27
由于MRR、MAP和NDCG都是评估指标，需要根据具体的任务和数据集进行实现。以下是一些常见任务的评估指标实现示例： 1. 信息检索任务中的MRR实现： ```python def mean_reciprocal_rank(results, relevant_docs): ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>