IR的评价指标—MAP,NDCG,MRR

转载 2012年03月27日 12:39:39

转载自:http://www.cnblogs.com/eyeszjwang/articles/2368087.html

MAP(Mean Average Precision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高),MAP就可能越高。如果系统没有返回相关文档,则准确率默认为0。
例如:假设有两个主题,主题1有4个相关网页,主题2有5个相关网页。某系统对于主题1检索出4个相关网页,其rank分别为1, 2, 4, 7;对于主题2检索出3个相关网页,其rank分别为1,3,5。对于主题1,平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题2,平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。”

NDCG(Normalized Discounted Cumulative Gain):计算相对复杂。对于排在结位置n处的NDCG的计算公式如下图所示:


在MAP中,四个文档和query要么相关,要么不相关,也就是相关度非0即1。NDCG中改进了下,相关度分成从0到r的r+1的等级(r可设定)。当取r=5时,等级设定如下图所示:


(应该还有r=1那一级,原文档有误,不过这里不影响理解)

例如现在有一个query={abc},返回下图左列的Ranked List(URL),当假设用户的选择与排序结果无关(即每一级都等概率被选中),则生成的累计增益值如下图最右列所示:


考虑到一般情况下用户会优先点选排在前面的搜索结果,所以应该引入一个折算因子(discounting factor): log(2)/log(1+rank)。这时将获得DCG值(Discounted Cumulative Gain)如下如所示:


最后,为了使不同等级上的搜索结果的得分值容易比较,需要将DCG值归一化的到NDCG值。操作如下图所示,首先计算理想返回结果List的DCG值:


然后用DCG/MaxDCG就得到NDCG值,如下图所示:


MRR(Mean Reciprocal Rank):是把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度,再对所有的问题取平均。相对简单,举个例子:有3个query如下图所示:

Query

Results

Correct response

Rank

Reciprocal rank

cat

catten, cati, cats

cats

3

1/3

torus

torii, tori, toruses

tori

2

1/2

virus

viruses, virii, viri

viruses

1

1


(黑体为返回结果中最匹配的一项)

可计算这个系统的MRR值为:(1/3 + 1/2 + 1)/3 = 11/18=0.61。


相关文章推荐

NDCG、AUC介绍

最近在

NDCG 评价标准

评价标准 性能良好的评分模型,应该能够给予那些引起msg或click的候选会员更高的评分(排序靠前),从而推荐给指定会员。本次竞赛的主要排名标准为Normalized Discounted ...

NDCG评价指标讲解

Normalized Discounted Cumulative Gain,即NDCG,常用于作为对rank的评价指标,当我们通过模型得出某些元素的ranking的时候,便可以通过NDCG来测评这个r...

使用NDCG评估关键词推荐系统的相关性

对于传统推荐策略, 我们在验证其效果的时候, 一般会采用以下流程验证其实验效果: offline 的评测: 思路基本和传统机器学习的思路类似, 例如在推荐算法中我们直接使用AUC,F2等评估模型效果...

信息检索系统常用的评价指标(准确率,召回率,F1,MAP,NDCG)

1. 准确率,召回率,F1值 首先介绍三种最常用的无序的评价指标,它们适用于一种相对简单的情况:在搜索结果中仅考虑返回的文档是否与查询相关,而不考虑这些返回文档在结果列表中的相对位置和顺序。 准确...

信息检索中常用的评价指标:MAP,nDCG,ERR,F-measure

知识点文本检索常用的评价指标:MAP、nDCG、ERR、F-score/F-measure以及附加的Precision、Recall、AveP、CG、DCG、IDCG、MRR、cascade mode...

IR的评价指标-MAP和NDCG

MAP(Mean Average Precision):     单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP ...

NDCG及其实现

1、NDCG的目标:希望得到的排序列表,质量越高越好。并且,如果将更相关的排到更前面,那么计算得到的NDCG是会越高的。 AUC和NDCG的区别: 1、AUC的含义:把正样本排在负样本前的概率。A...

IR的评价指标-MAP,NDCG和MRR

Map:相关性,1 or 0,计算排序后rank值 NDCG: 设定相关性等级(2^5-1, 2^4-1…) 计算累计增益值(嗯,就累加起来) 计算折算因子log(2)/log(1+rank) (越...
  • lightty
  • lightty
  • 2015年07月27日 06:35
  • 3526

RMSE

RMSE 即 均方根误差 。 均方根误差亦称标准误差,其定义为 ,i=1,2,3,…n。在有限测量次数中,均方根误差常用下式表示:√[∑di^2/n]=Re,式中:n为测量次数;...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:IR的评价指标—MAP,NDCG,MRR
举报原因:
原因补充:

(最多只允许输入30个字)