MAP(Mean Average Precision):

转载 2016年06月01日 18:37:43


MAP(Mean Average Precision):

    单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高),MAP就可能越高。如果系统没有返回相关文档,则准确率默认为0。
例如:假设有两个主题,主题1有4个相关网页,主题2有5个相关网页。某系统对于主题1检索出4个相关网页,其rank分别为1, 2, 4, 7;对于主题2检索出3个相关网页,其rank分别为1,3,5。对于主题1,平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题2,平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。”

NDCG(Normalized Discounted Cumulative Gain):

计算相对复杂。对于排在结位置n处的NDCG的计算公式如下图所示:


在MAP中,四个文档和query要么相关,要么不相关,也就是相关度非0即1。NDCG中改进了下,相关度分成从0到r的r+1的等级(r可设定)。当取r=5时,等级设定如下图所示:

(应该还有r=1那一级,原文档有误,不过这里不影响理解)

例如现在有一个query={abc},返回下图左列的Ranked List(URL),当假设用户的选择与排序结果无关(即每一级都等概率被选中),则生成的累计增益值如下图最右列所示:


考虑到一般情况下用户会优先点选排在前面的搜索结果,所以应该引入一个折算因子(discounting factor): log(2)/log(1+rank)。这时将获得DCG值(Discounted Cumulative Gain)如下如所示:


最后,为了使不同等级上的搜索结果的得分值容易比较,需要将DCG值归一化的到NDCG值。操作如下图所示,首先计算理想返回结果List的DCG值:


然后用DCG/MaxDCG就得到NDCG值,如下图所示:


相关文章推荐

Mean Average Precision(MAP)平均精度均值

MAP(Mean Average Precision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统...
  • YLH9604
  • YLH9604
  • 2016年11月09日 15:50
  • 2770

信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC

在信息检索、分类体系中,有一系列的指标,搞清楚这些指标对于评价检索和分类性能非常重要,因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(R...
  • marising
  • marising
  • 2011年07月06日 22:15
  • 39398

Mean Average Precision(MAP)

Precision Main article: Precision and recall Precision is the fraction of the documents retrieved ...
  • huxcai
  • huxcai
  • 2016年10月11日 15:02
  • 1024

MAP(Mean Average Precision)

MAP(Mean Average Precision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统在全...

mAP(mean average precision)

介绍了mAP的数学意义和计算方式

信息检索的评价指标(Precision, Recall, F-score, MAP)

之前写过一篇blog叫做机器学习实战笔记之非均衡分类问题:http://blog.csdn.net/lu597203933/article/details/38666699其中对Precision和R...

代码笔记:caffe-reid中计算mAP和rank1的方法

mAP和rank1均是衡量算法搜索结果的指标。其具体的概念和算法如下所述。mAP概念mAP的全称是mean average precision,用于衡量算法的搜索结果。如下这张图中有实际的例子来描述该...

MLE,EM,MAP 三种算法对比和理解

reference link: http://blog.csdn.net/upon_the_yun/article/details/8915283 最大似然估计(MLP):   (1) 写出似然...

Mean Average Precision(MAP)平均精度均值

MAP(Mean Average Precision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统...

Recall, Precision, and Average Precision

信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC 分类: 1.自然语言处理/机器学习 在信息检索、分类体系中,有一系列的指标,搞清楚这些指标对...
  • scut1135
  • scut1135
  • 2012年11月27日 11:12
  • 10173
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:MAP(Mean Average Precision):
举报原因:
原因补充:

(最多只允许输入30个字)