MAP与MRR

1.MAP(Mean Average Precision,平均精度均值):MAP是一种常用的信息检索系统评价指标,用于衡量一个系统返回的前n个检索结果中,相关文档所占的比例与实际相关文档数之间的关系。其计算方法为:对于每个系统返回的前n个检索结果,计算其中相关文档的精度(P)并求平均值,最后得到MAP值。

优点:MAP可以充分考虑系统返回的所有相关文档,并且能够反映出系统的整体性能。

缺点:计算MAP需要知道系统返回的所有相关文档,这在实际应用中可能不可行。此外,MAP对于排名靠后的文档的影响较小,可能会导致系统忽略这些文档的相关性。

2.MRR(Mean Reciprocal Rank,平均倒数排名):MRR是另一种常用的信息检索系统评价指标,其目的是衡量系统返回的第一个相关文档的排名。其计算方法为:对于每个查询,找到第一个相关文档的排名n,将1/n作为该查询的分数,最后求所有查询的分数的平均值作为MRR值。

优点:MRR简单易懂,能够反映出系统返回的第一个相关文档的排名情况。

缺点:MRR无法考虑系统返回的所有相关文档,可能会忽略排名靠后的文档的相关性。

算法原理:MAP和MRR都是基于信息检索系统的查询-文档匹配过程进行评价的。MAP将系统返回的前n个检索结果中每个相关文档的精度作为评价指标,而MRR只关注系统返回的第一个相关文档的排名。因此,这两种指标都需要对系统返回的检索结果进行排序,并计算相关文档的准确率或排名。

  • 10
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
由于MRRMAP和NDCG都是评估指标,需要根据具体的任务和数据集进行实现。以下是一些常见任务的评估指标实现示例: 1. 信息检索任务中的MRR实现: ```python def mean_reciprocal_rank(results, relevant_docs): for i, r in enumerate(results): if r in relevant_docs: return 1.0 / (i + 1) return 0.0 # 示例 relevant_docs = [1, 3, 5] results = [3, 4, 2, 1, 5] print(mean_reciprocal_rank(results, relevant_docs)) # 输出 0.3333 ``` 2. 信息检索任务中的MAP实现: ```python def average_precision(results, relevant_docs): precision = 0.0 num_relevant = 0 for i, r in enumerate(results): if r in relevant_docs: num_relevant += 1 precision += num_relevant / (i + 1) return precision / len(relevant_docs) def mean_average_precision(results_list, relevant_docs_list): map_score = 0.0 for results, relevant_docs in zip(results_list, relevant_docs_list): map_score += average_precision(results, relevant_docs) return map_score / len(results_list) # 示例 relevant_docs_list = [[1, 3, 5], [2, 4, 6], [3, 5, 7]] results_list = [[3, 4, 2, 1, 5], [3, 2, 4, 5, 1], [7, 6, 5, 4, 3]] print(mean_average_precision(results_list, relevant_docs_list)) # 输出 0.5 ``` 3. 推荐系统任务中的NDCG实现: ```python import numpy as np def ndcg(recommended_items, relevant_items, k): dcg = 0.0 idcg = np.sum(1.0 / np.log2(np.arange(2, k + 2))) for i, r in enumerate(recommended_items[:k]): if r in relevant_items: dcg += 1.0 / np.log2(i + 2) return dcg / idcg # 示例 recommended_items = [1, 2, 3, 4, 5] relevant_items = [1, 3, 5] print(ndcg(recommended_items, relevant_items, 5)) # 输出 0.6244 ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值