MAP 与 MRR

最新推荐文章于 2024-01-18 15:21:46 发布
最新推荐文章于 2024-01-18 15:21:46 发布
阅读量1.4w 收藏 9
点赞数 8
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackerzer/article/details/79632951
版权

看论文时，发现对于wikiqa的评价指标常设为MAP、MRR这些Rank排序的指标，不是很理解，看了下面这篇博客有些理解了

http://blog.csdn.net/lightty/article/details/47079017 


在MAP中，四个文档和query要么相关，要么不相关，也就是相关度非0即1。

MAP(Mean Average Precision)：

最低0.47元/天 解锁文章
Hackerzer
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于词法匹配与词嵌入的医疗知识实体上下位关系抽取.pdf
09-12
实验结果显示，该综合方法在SemEval-Task 9的医疗数据集上取得了优于现有最佳方法的性能，尤其是在Mean Reciprocal Rank (MRR)、Mean Average Precision (MAP)和Precision at 1 (P@1)这三个关键指标上有所提升。...
MRR vs MAP vs NDCG：具有排序意义的度量指标的可视化解释及使用场景分析
AI公园
07-04 3619
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Moussa Taifi, Ph.D编译：ronghuaiyang导读3种指标，各有优缺点，各有适用场景，分析给你看。机器...
推荐系统中的MRR指标
weixin_44110392的博客
03-06 7084
MRR（Mean reciprocal rank） MRR最早是在搜索场景下衡量，返回结果的质量。 其基于一个假设“每一个query Q只有一个与其相关(relevant)的结果A” 指标反应的是我们找到的这些item是否摆在用户更明显的位置，强调位置关系，顺序性。公式如下，N表示推荐次数，1/p表示用户真实访问的item在结果列表中的位置，如果没在结果序列中，则p为无穷大，1/p为0。 如上图，有N次搜索，p_i是第i次搜索的结果中最相关结果的位置，其倒数就是返回结果的质量。 python实现： '''
MRR-推荐算法评价指标
jiangjiane
08-26 2万+
平均倒数排名（Mean Reciprocal Rank, MRR）是一个国际上通用的对搜索算法进行评价的机制。 描述 第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。 数学形式 正确检索结果值在检索结果中的排名来评估检索系统的性能。 其中，是用户的个数，是对于第个用户，推荐列表中第一个在ground-t...
信息检索与数据挖掘 | 【实验】检索评价指标MAP、MRR、NDCG
因为健忘，所以记点有的没的〒▽〒
11-14 2223
MAP、MRR、NDCG
MAP与MRR
XUYH6904的博客
01-10 567
1.MAP（Mean Average Precision，平均精度均值）：MAP是一种常用的信息检索系统评价指标，用于衡量一个系统返回的前n个检索结果中，相关文档所占的比例与实际相关文档数之间的关系。其计算方法为：对于每个查询，找到第一个相关文档的排名n，将1/n作为该查询的分数，最后求所有查询的分数的平均值作为MRR值。MAP将系统返回的前n个检索结果中每个相关文档的精度作为评价指标，而MRR只关注系统返回的第一个相关文档的排名。优点：MRR简单易懂，能够反映出系统返回的第一个相关文档的排名情况。
问答系统QA的评价指标MAP、MRR、Accuracy@N
lppfwl的博客
09-29 6120
问答系统性能的评价指标MAP、MRR、Accuracy@N MAP(mean average precision) 即平均准确率，系统对所有候选答案进行评分，并按分值大小进行排序，正确答案越靠前，MAP值就越大 计算方式如下： 参考：https://www.jianshu.com/p/e1664861bc9d 比如共有三个问题，问题1有3个直接相关的答案，问题2有2个直接相关的答案，问题3有4个直接相关的答案。系统返回的答案中，问题1的3个答案的排序为1，3，5；问题2的2个答案的排序为2，3；问题3的4
Basic-Evaluation-metrics.zip
08-23
3. MAP@K (Mean Average Precision at K)：平均精度均值，是精度与召回率的综合评估。它计算在每个用户中，查准率的平均值，然后取所有用户的平均值。在Top-K的预测结果中，如果正确推荐的项目出现在前K个位置，则...
spearman的matlab代码-sentence-similarity:用于释义检测、语义相似性和文本蕴涵的各种深度学习模型的PyTorc
06-13
spearman的matlab代码句子相似性 ...MAP/MRR 指标： cd metrics ./get_trec_eval.sh 跑步 基线 生病的 # Unsupervised $ python main.py --model sif --dataset sick --unsupervised Test Results - Epoch: 0 pearso
msmarco-query-reformulation
03-14
然后根据生成的查询的有效性（例如map或mrr）对生成的查询进行评估，然后选择最有效的查询与原始查询配对。 数据集：详细信息和评估 基于MSMARCO训练集，我们发布了MSMarco的三个数据集，即钻石，白金和黄金数据集...
java笔试题算法-TagRec:迈向标准化标签推荐基准测试框架
06-03
nDCG、MAP、MRR、Precision (P@k)、Recall (R@k)、F1-score (F1@k)、Diversity (D)、Serendipity (S)、User Coverage (UC) 和 Folksonomy BibSonomy、CiteULike、LastFM、Flickr、MovieLens 或 Delicious 等数据集，...
评价指标 MRR
s1162276945的博客
08-19 1万+
MRR(Mean Reciprocal Rank, 平均倒数排名) 是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。...
知识图谱补全中MRR指标低而Hits@10高反映了什么
weixin_44466434的博客
07-25 1120
1
图像标注中常用的性能指标评估方法
机器智能
05-22 2019
不断更新中... MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。 例如：假设有两个主题，主
知识图谱嵌入的衡量指标：MRR，MR，HITS@n
ZCS的博客
03-03 2万+
知识图谱嵌入的衡量指标：MRR，MR，HITS@n
KGE性能指标：MRR，MR，HITS@1，HITS@3，HITS@10
热门推荐
飞机火车巴雷特的博客
09-12 4万+
知识图谱MRR，MR，HITS@1，HITS@3，HITS@10的含义、计算方法
知识图谱常用评价指标：MRR，MR，HITS@K，Recall@K，Precision@K
l8947943的博客
11-14 1万+
MRR的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。该指标越大越好（即预测排名越靠前，倒数就越大，求和结果越大越好）。MRR=∣S∣1​∑i=1∣S∣​ranki​1​=∣S∣1​(rank1​1​+rank2​1​+⋅⋅⋅+ranki​1​)其中S是三元组集合，∣S∣是三元组集合个数，ranki。
推荐系统的评价指标--------命中率（Hit Rate）、平均倒数排名（MRR）和归一化折扣累积增益（NDCG）
最新发布
m0_68682144的博客
01-18 3105
命中率是衡量推荐系统准确性的指标之一。它表示。命中率的计算非常直接。你只需要统计推荐列表中用户实际感兴趣的项目数量，然后除以测试集中用户实际感兴趣的总项目数量。示例：假设一个用户在测试集中对5个项目感兴趣，推荐系统推荐了10个项目，其中3个是用户实际感兴趣的，那么命中率为 3/5 = 0.6。
【推荐系统】常用评价指标NDCG、HR、Recall、MRR解析
Danger的博客
05-09 3907
【推荐系统】常用评价指标NDCG、HR、Recall、MRR解析
MRR、MAP、NDCG代码
03-27
由于MRR、MAP和NDCG都是评估指标，需要根据具体的任务和数据集进行实现。以下是一些常见任务的评估指标实现示例： 1. 信息检索任务中的MRR实现： ```python def mean_reciprocal_rank(results, relevant_docs): for i, r in enumerate(results): if r in relevant_docs: return 1.0 / (i + 1) return 0.0 # 示例 relevant_docs = [1, 3, 5] results = [3, 4, 2, 1, 5] print(mean_reciprocal_rank(results, relevant_docs)) # 输出 0.3333 ``` 2. 信息检索任务中的MAP实现： ```python def average_precision(results, relevant_docs): precision = 0.0 num_relevant = 0 for i, r in enumerate(results): if r in relevant_docs: num_relevant += 1 precision += num_relevant / (i + 1) return precision / len(relevant_docs) def mean_average_precision(results_list, relevant_docs_list): map_score = 0.0 for results, relevant_docs in zip(results_list, relevant_docs_list): map_score += average_precision(results, relevant_docs) return map_score / len(results_list) # 示例 relevant_docs_list = [[1, 3, 5], [2, 4, 6], [3, 5, 7]] results_list = [[3, 4, 2, 1, 5], [3, 2, 4, 5, 1], [7, 6, 5, 4, 3]] print(mean_average_precision(results_list, relevant_docs_list)) # 输出 0.5 ``` 3. 推荐系统任务中的NDCG实现： ```python import numpy as np def ndcg(recommended_items, relevant_items, k): dcg = 0.0 idcg = np.sum(1.0 / np.log2(np.arange(2, k + 2))) for i, r in enumerate(recommended_items[:k]): if r in relevant_items: dcg += 1.0 / np.log2(i + 2) return dcg / idcg # 示例 recommended_items = [1, 2, 3, 4, 5] relevant_items = [1, 3, 5] print(ndcg(recommended_items, relevant_items, 5)) # 输出 0.6244 ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值