MAP(Mean Average Precision):

转载 2016年06月01日 18:37:43


MAP(Mean Average Precision):

    单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高),MAP就可能越高。如果系统没有返回相关文档,则准确率默认为0。
例如:假设有两个主题,主题1有4个相关网页,主题2有5个相关网页。某系统对于主题1检索出4个相关网页,其rank分别为1, 2, 4, 7;对于主题2检索出3个相关网页,其rank分别为1,3,5。对于主题1,平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题2,平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。”

NDCG(Normalized Discounted Cumulative Gain):

计算相对复杂。对于排在结位置n处的NDCG的计算公式如下图所示:


在MAP中,四个文档和query要么相关,要么不相关,也就是相关度非0即1。NDCG中改进了下,相关度分成从0到r的r+1的等级(r可设定)。当取r=5时,等级设定如下图所示:

(应该还有r=1那一级,原文档有误,不过这里不影响理解)

例如现在有一个query={abc},返回下图左列的Ranked List(URL),当假设用户的选择与排序结果无关(即每一级都等概率被选中),则生成的累计增益值如下图最右列所示:


考虑到一般情况下用户会优先点选排在前面的搜索结果,所以应该引入一个折算因子(discounting factor): log(2)/log(1+rank)。这时将获得DCG值(Discounted Cumulative Gain)如下如所示:


最后,为了使不同等级上的搜索结果的得分值容易比较,需要将DCG值归一化的到NDCG值。操作如下图所示,首先计算理想返回结果List的DCG值:


然后用DCG/MaxDCG就得到NDCG值,如下图所示:


代码笔记:caffe-reid中计算mAP和rank1的方法

mAP和rank1均是衡量算法搜索结果的指标。其具体的概念和算法如下所述。mAP概念mAP的全称是mean average precision,用于衡量算法的搜索结果。如下这张图中有实际的例子来描述该...
  • u013698770
  • u013698770
  • 2017年03月07日 19:03
  • 2128

VOC数据集mAP计算

检测出来的bbox的score按照iou将降序排序,所以每添加一个样本,就代表阈值降低一点。这样就是可以有很多种阈值,每个阈值情况下计算一个prec和recall。 d:对模型检测到的bbox循环: ...
  • lixiang_whu
  • lixiang_whu
  • 2017年03月21日 20:03
  • 3249

信息检索的评价指标(Precision, Recall, F-score, MAP)

之前写过一篇blog叫做机器学习实战笔记之非均衡分类问题:http://blog.csdn.net/lu597203933/article/details/38666699其中对Precision和R...
  • Lu597203933
  • Lu597203933
  • 2014年12月08日 12:39
  • 25648

CNN feature map 大小的计算公式

请参考:http://blog.csdn.net/cheese_pop/article/details/51955915 输入:N0*C0*H0*W0  输出:N1*C1*H1*W1  输出...
  • u011517332
  • u011517332
  • 2017年07月27日 18:16
  • 989

Mean Average Precision(MAP)平均精度均值

MAP(Mean Average Precision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统...
  • YLH9604
  • YLH9604
  • 2016年11月09日 15:50
  • 4303

Precision、Recall and Mean Average Precision(MAP)

基本概念 Precision准确度 Recall召回率 Precision-Recall 曲线 MAP Reference论文 [1] 介绍了一种用于形状分类的metric,理论部分作者给出几组sha...
  • HIT_ChenPeng
  • HIT_ChenPeng
  • 2017年01月14日 14:25
  • 564

信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC

在信息检索、分类体系中,有一系列的指标,搞清楚这些指标对于评价检索和分类性能非常重要,因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(R...
  • marising
  • marising
  • 2011年07月06日 22:15
  • 41530

mean average precision 定义以及计算

mean average precision 即对所有类的average precision的平均,一个类的averege precision计算有两种, 一种是11点插值法,voc 08年...
  • tangzy_
  • tangzy_
  • 2017年05月31日 16:01
  • 1785

Mean Average Precision(MAP)平均精度均值

MAP(Mean Average Precision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统...
  • zhuqiuhui
  • zhuqiuhui
  • 2014年11月06日 15:14
  • 14097

【YOLO学习】召回率(Recall),精确率(Precision),平均正确率(Average_precision(AP) ),交除并(Intersection-over-Union(IoU))

在训练YOLO v2的过程中,系统会显示出一些评价训练效果的指标,包括Recall,IoU等等。为了怕以后忘了,现在把自己的理解记录一下。这一文章首先假设一个测试集,然后围绕这一测试集来介绍这几种指标...
  • hysteric314
  • hysteric314
  • 2017年01月05日 19:10
  • 10409
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:MAP(Mean Average Precision):
举报原因:
原因补充:

(最多只允许输入30个字)