图像检索评价指标：mAP@k、mAP的计算

最新推荐文章于 2023-11-14 21:15:00 发布
最新推荐文章于 2023-11-14 21:15:00 发布
阅读量9.7k 收藏 69
点赞数 27
分类专栏： 11 Python/DL/ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengchengliu/article/details/119418007
版权

mAP ，mean Average Precision，平均检索精度.是图像检索领域最最常用的评价指标。

一、mAP@k、mAP

1.1 mAP@k

很多地方喜欢用这张图来解释，确实画的很好了，不过略有瑕疵，我稍微修改了一下。这张图是求mAP@10的结果。

原图主要存在的问题就是，在前10张图片中，把所有的相似的结果都返回了。这样会给读者造成这样的困扰：没检索出来的但是又相似的图片怎么办？？

改了之后，就清晰多了。我们就会发现我们这里求mAP的时候是不考虑召回率的，也就是并没有考虑那些相似的但是不在topk中的那些漏掉的图片。只考虑了topk中，相似的图片。

注：当然还有一种计算mAP的方法，就是考虑召回率的计算方法，我们这里不展开。

mAP@k，理解的话应该是m(AP@k)，而不是(mAP)@k。也就是先求AP@k，再求平均。

AP@k，理解的话应该是A(P@k)，而不是(AP)@k。也就是先求P@k，再求平均。

P@k = 前k个中有多少个正样本 / k，比如对于查询1的结果：P@1 = 1, P@2 = 1/2,  P@3 = 2/3...

求AP@k的时候，是求哪些P@k，然后再求平均呢？是求检索到的k张图片中，正样本位置上的P@k。比如，查询1中，返回了10张图片，但是只有5个正样本，分别在第1、3、6、9、10位。所以要求P@1，P@3，P@6， P@9，P@10这5个值，再求平均得到AP@10.

在求mAP@k的时候，k是指每次查询的时候返回k张图片。这个写@k是与后面要讲的mAP做区分用的。写论文的时候有的时候都不写@k，到底是用的mAP@k，还是mAP，自己把握去吧

【举例】

假设有3张图片，这三张图片的哈希码为：query1=[1,-1,1,1]， query2=[-1,1,-1,-1]，query3=[1,-1,-1,-1]。

数据库中有7张图片，对应的哈希码为：gallery=[[ 1,-1,-1,-1], [-1, 1, 1,-1], [ 1, 1, 1,-1], [-1,-1, 1, 1], [ 1, 1,-1,-1], [ 1, 1, 1,-1], [-1, 1,-1,-1]]

三张query图片的标签为：[1,0,0], [1,1,0], [0,0,1]。

7张gallery图片的标签为：[0,1,0], [1,1,0], [1,0,1], [0,0,1], [0,1,0], [0,0,1], [1,1,0]

求mAP@5.

(1)对于query1([1,-1,1,1])：

首先query1与gallery图片求距离，然后按照距离进行排序，得到最近的topk(这里设为5)张图片。

gallery汉明距离(有几位不同)排序
[ 1,-1,-1,-1]22
[-1, 1, 1,-1]35
[ 1, 1, 1,-1]23
[-1,-1, 1, 1]11
[ 1, 1,-1,-1]3
[ 1, 1, 1,-1]24
[-1, 1,-1,-1]4

然后，看看返回的topk张图片中，哪些是正样本，哪些是负样本。query1的标签为[1,0,0]，所以包含第1类的都是正样本。

返回的topk图片4图片1图片3图片6图片2
标签[0,0,1][0,1,0][1,0,1][0,0,1][1,1,0]
是否正样本否否是否是

最后，计算AP@5值：

(1/3 + 2/5)/2 = 0.3667

(2)对于query2([-1,1,-1,-1])：

首先query2与gallery图片求距离，然后按照距离进行排序，得到最近的topk(这里设为5)张图片。

gallery汉明距离(有几位不同)排序
[ 1,-1,-1,-1]24
[-1, 1, 1,-1]12
[ 1, 1, 1,-1]25
[-1,-1, 1, 1]3
[ 1, 1,-1,-1]13
[ 1, 1, 1,-1]2
[-1, 1,-1,-1]01

然后，看看返回的topk张图片中，哪些是正样本，哪些是负样本。query2的标签为 [1,1,0]，所以包含第1类或第2类的都是正样本。

返回的topk图片7图片2图片5图片1图片3
标签[1,1,0][1,1,0][0,1,0][0,1,0][1,0,1]
是否正样本是是是是是

最后，计算AP@5值：

(1/1 + 2/2 + 3/3 + 4/4 + 5/5)/5 = 1.0

(3)对于query3([1,-1,-1,-1])：

首先query3与gallery图片求距离，然后按照距离进行排序，得到最近的topk(这里设为5)张图片。

gallery汉明距离(有几位不同)排序
[ 1,-1,-1,-1]01
[-1, 1, 1,-1]3
[ 1, 1, 1,-1]23
[-1,-1, 1, 1]3
[ 1, 1,-1,-1]12
[ 1, 1, 1,-1]24
[-1, 1,-1,-1]25

然后，看看返回的topk张图片中，哪些是正样本，哪些是负样本。query3的标签为 [0,0,1]，所以包含第3类的都是正样本。

返回的topk图片1图片5图片3图片6图片7
标签[0,1,0][0,1,0][1,0,1][0,0,1][1,1,0]
是否正样本否否是是否

最后，计算AP@5值：

(1/3 + 2/4)/2 = 0.4165

(4)对所有的query的AP值，求平均

mAP@5 = (0.3667 + 1 + 0.4165) /3 = 0.5944

1.2 mAP与mAP@k的区别

mAP呢，就是每次查询的时候不是返回k张图片了，而是把所有的图片都按相似度进行返回。也就是k的值等于gallery数据库的大小。

【举例】

还是用上面的例子。求mAP。

(1)对于query1([1,-1,1,1])：

首先query1与gallery图片求距离，然后按照距离进行排序

gallery汉明距离(有几位不同)排序
[ 1,-1,-1,-1]22
[-1, 1, 1,-1]35
[ 1, 1, 1,-1]23
[-1,-1, 1, 1]11
[ 1, 1,-1,-1]36
[ 1, 1, 1,-1]24
[-1, 1,-1,-1]47

然后，看看返回的topk张图片中，哪些是正样本，哪些是负样本。query1的标签为[1,0,0]，所以包含第1类的都是正样本。

返回的topk图片4图片1图片3图片6图片2图片5图片7
标签[0,0,1][0,1,0][1,0,1][0,0,1][1,1,0][0,1,0][1,1,0]
是否正样本否否是否是否是

最后，计算AP值：

(1/3 + 2/5 + 3/7)/3 = 0.3873

(2)对于query2([-1,1,-1,-1])：

首先query2与gallery图片求距离，然后按照距离进行排序，得到最近的topk(这里设为5)张图片。

gallery汉明距离(有几位不同)排序
[ 1,-1,-1,-1]24
[-1, 1, 1,-1]12
[ 1, 1, 1,-1]25
[-1,-1, 1, 1]37
[ 1, 1,-1,-1]13
[ 1, 1, 1,-1]26
[-1, 1,-1,-1]01

然后，看看返回的topk张图片中，哪些是正样本，哪些是负样本。query2的标签为 [1,1,0]，所以包含第1类或第2类的都是正样本。

返回的topk图片7图片2图片5图片1图片3图片6图片4
标签[1,1,0][1,1,0][0,1,0][0,1,0][1,0,1][0,0,1][0,0,1]
是否正样本是是是是是否否

最后，计算AP值：

(1/1 + 2/2 + 3/3 + 4/4 + 5/5)/5 = 1.0

(3)对于query3([1,-1,-1,-1])：

首先query3与gallery图片求距离，然后按照距离进行排序，得到最近的topk(这里设为5)张图片。

gallery汉明距离(有几位不同)排序
[ 1,-1,-1,-1]01
[-1, 1, 1,-1]36
[ 1, 1, 1,-1]23
[-1,-1, 1, 1]37
[ 1, 1,-1,-1]12
[ 1, 1, 1,-1]24
[-1, 1,-1,-1]25

然后，看看返回的topk张图片中，哪些是正样本，哪些是负样本。query3的标签为 [0,0,1]，所以包含第3类的都是正样本。

返回的topk图片1图片5图片3图片6图片7图片2图片4
标签[0,1,0][0,1,0][1,0,1][0,0,1][1,1,0][1,1,0][0,0,1]
是否正样本否否是是否否是

最后，计算AP值：

(1/3 + 2/4 + 3/7)/3 = 0.4206

(4)对所有的query的AP值，求平均

mAP = (0.3873 + 1 + 0.4206) /3 = 0.6026

二、代码实现

# @file name  : test2.py
# @brief      : 
# @author     : liupc
# @date       : 2021/8/2

import numpy as np

#计算汉明距离。有几位不同，距离就为几。
def CalcHammingDist(B1, B2):
    q = B2.shape[1]
    distH = 0.5 * (q - np.dot(B1, B2.transpose()))
    return distH


#计算mAP@k的值
def CalcTopMap(qB, rB, queryL, retrievalL, topk):
    #qB queryBinary, query数据集，都转成了哈希码
    #rB retrievalBinary，gallery数据集，都转成了哈希码
    #queryL queryLabel，query数据集的标签
    #retrievalL retrievalLabel，gallery数据集的标签

    num_query = queryL.shape[0]         #共有多少个查询
    topkmap = 0
    for iter in range(num_query): #对每一个查询，求其AP@k的值
        #gnd:一个长度等于gallery数据集的0/1向量，1表示为正样本(即至少包含query的一个标签)，0表示负样本（即，不包含query的标签）。
        gnd = (np.dot(queryL[iter, :], retrievalL.transpose()) > 0).astype(np.float32)
        hamm = CalcHammingDist(qB[iter, :], rB)  #计算第iter张query图片与gallery数据集的汉明距离
        ind = np.argsort(hamm)                   #对汉明距离进行排序，返回下标，表示最相似的图片列表
        gnd = gnd[ind]                           #最相似的图片是否为正样本的列表

        tgnd = gnd[0:topk]                       #只看前topk个结果
        tsum = np.sum(tgnd).astype(int)          #前topk个中有多少个预测对了
        if tsum == 0:
            continue
        count = np.linspace(1, tsum, tsum)

        tindex = np.asarray(np.where(tgnd == 1)) + 1.0
        topkmap_ = np.mean(count / (tindex))
        topkmap += topkmap_
    topkmap = topkmap / num_query
    return topkmap

#计算mAP的值
def CalcMap(qB, rB, queryL, retrievalL):
    #qB queryBinary, query数据集，都转成了哈希码
    #rB retrievalBinary，gallery数据集，都转成了哈希码
    #queryL queryLabel，query数据集的标签
    #retrievalL retrievalLabel，gallery数据集的标签

    num_query = queryL.shape[0]
    map = 0
    # print('++++++++++++++++++++++++++++++++++++++++++++++++++++++++++')

    for iter in range(num_query):
        gnd = (np.dot(queryL[iter, :], retrievalL.transpose()) > 0).astype(np.float32)
        tsum = np.sum(gnd).astype(int)
        if tsum == 0:
            continue
        hamm = CalcHammingDist(qB[iter, :], rB)
        ind = np.argsort(hamm)
        gnd = gnd[ind]
        count = np.linspace(1, tsum, tsum)

        tindex = np.asarray(np.where(gnd == 1)) + 1.0
        map_ = np.mean(count / (tindex))
        # print(map_)
        map = map + map_
    map = map / num_query

    return map


#计算topk准确率
def CalcTopAcc(qB, rB, queryL, retrievalL, topk):
    # qB: {-1,+1}^{mxq}
    # rB: {-1,+1}^{nxq}
    # queryL: {0,1}^{mxl}
    # retrievalL: {0,1}^{nxl}
    num_query = queryL.shape[0]
    topkacc = 0
    # print('++++++++++++++++++++++++++++++++++++++++++++++++++++++++++')
    for iter in range(num_query):
        # gnd:一个长度等于gallery数据集的0/1向量，1表示为正样本(即至少包含query的一个标签)，0表示负样本（即，不包含query的标签）。
        gnd = (np.dot(queryL[iter, :], retrievalL.transpose()) > 0).astype(np.float32)
        hamm = CalcHammingDist(qB[iter, :], rB)  #计算第iter张query图片与gallery数据集的汉明距离
        ind = np.argsort(hamm)                   #对汉明距离进行排序，返回下标，表示最相似的图片列表
        gnd = gnd[ind]                           #最相似的图片是否为正样本的列表
        tgnd = gnd[0:topk]                       #只看前topk个结果
        tsum = np.sum(tgnd)                      #前topk个中有多少个预测对了
        if tsum == 0:
            continue
        topkacc += tsum / topk
    topkacc = topkacc / num_query
    return topkacc



if __name__=='__main__':
    queryBinary = np.array([[1,-1,1,1],[-1,1,-1,-1],[1,-1,-1,-1]])
    galleryBinary = np.array([[ 1,-1,-1,-1],
                              [-1, 1, 1,-1],
                              [ 1, 1, 1,-1],
                              [-1,-1, 1, 1],
                              [ 1, 1,-1,-1],
                              [ 1, 1, 1,-1],
                              [-1, 1,-1,-1]])
    queryLabel = np.array([[1,0,0],
                           [1,1,0],
                           [0,0,1]], dtype=np.int64)
    galleryLabel = np.array([[0,1,0],
                             [1,1,0],
                             [1,0,1],
                             [0,0,1],
                             [0,1,0],
                             [0,0,1],
                             [1,1,0]], dtype=np.int64)

    topk = 5

    topkmap = CalcTopMap(queryBinary, galleryBinary, queryLabel, galleryLabel, topk)
    print("map@{}为：{}".format(topk, topkmap))

    map = CalcMap(queryBinary, galleryBinary, queryLabel, galleryLabel)
    print("map为：{}".format(map))

    topkacc = CalcTopAcc(queryBinary, galleryBinary, queryLabel, galleryLabel, topk)
    print("acc@{}为：{}".format(topk, topkacc))

运行结果：

三、代码详解

参考：https://yongyuan.name/blog/evaluation-of-information-retrieval.html

           https://zhuanlan.zhihu.com/p/51955362

/home/liupc
关注
  • 27
    点赞
  • 踩
  • 69
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
专栏目录
MAP_K 检索评估指标
iterate7的博客
05-24 3022
1. MAP_K MAP: mean average precision. precision很容易理解；precision@10表示检索10个文档中包含相关所占的比例， 比如检索了10个，有9个是相关的，那么 precision@10=0.9 average precision, 也容易理解。 可以看p1，p2，p3，p4，p5，p6的平均值；就是 ap6的值 mean 则是对所有的case求mean则是结果。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(im
P@K,MAP,MRR以及NDCG相关计算公式
ywqdy的博客
12-29 2987
P@K,MAP,MRR以及NDCG相关计算公式 Precision@K（P@K): Average precision(AP) = average of P@K 上图中AP=1/3*（2/3+2/4+3/5） MAP计算公式为： +++++++++++++++ MRR: +++++++++++++++ NDCG相关计算： Cumulative Gain at rank n (CG): Discounted Cumulative Gain (DCG): （log2(1)=0所以rel1单独拎出来了）
信息检索度量指标（MAP@N, P@N）
arvinChen的博客
09-06 751
这篇文章中，我们了解了二元相关性和分级标签相关性的各种评估指标，以及每个指标如何改进之前的指标
MAP@K metric for keras with tensorflow backend
赵大宝的博客
11-15 763
https://www.kaggle.com/c/santander-product-recommendation/discussion/25928
图像检索评价指标
qq_37933128的博客
09-01 2293
图像平均检索精度（mean average precision,mAP）F-Score-对于precision和recall都有较高的要求。Precision表示所有预测为正的样本中，真实正样本所占的比例。图像检索精度（average precision,AP）调节β值可以控制Precision和Recall的权重。Recall表示所有的正样本中，预测为正的样本的比例。如预测为狗的图像中，确实为狗的比例，β1，Recall更重要；...
信息检索P@10、MAP、NDCG，及同一指标计算的差别
热门推荐
more_ugly_less_bug的博客
01-16 4万+
问题源于我在重现一篇信息检索方面顶会论文实验的时候，始终计算不出与论文中相同的实验结果。论文的实验用到了P@10，MAP,NDCG@10三种指标。我先是用了Galago提供的计算工具，发现除P@10一项指标结果一致外，MAP,NDCG@10两项都有很大的不同。经过观察发现虽然实验结果的数据不同，但是实验结果的趋势是相同的（实验是对几种排名算法进行评比，尽管得到了不同的数据，但是用这些数...
计算机研究 -基于聚类的鞋印图像检索算法研究.pdf
06-27
【基于聚类的鞋印图像检索算法研究】 在刑事侦查中，鞋印图像作为重要的物证，其识别和检索效率直接影响案件的侦破速度。传统的鞋印图像检索算法往往忽视了图像间的相关性和同类图像对检索结果的影响，导致检索结果...
图像检索论文.rar
08-08
4. **性能评估**：论文可能会介绍各种评价指标，如Precision-Recall曲线、平均精度均值(MAP)等，来衡量图像检索系统的性能。 5. **深度学习在图像检索中的应用**：近年来，深度学习模型如卷积神经网络(CNN)、深度...
cnnimageretrieval：在MatConvNet中检索CNN图像：在MatConvNet中训练和评估CNN以进行图像检索
02-04
《MatConvNet中的CNN图像检索：训练与评估详解》 在计算机视觉领域，卷积神经网络（CNN）已经成为图像处理和识别任务的核心技术。MatConvNet是一个基于MATLAB的深度学习框架，它允许用户轻松地构建、训练和应用CNN...
图像检索系统
03-18
8. **评价指标**：评估图像检索系统性能的常用指标有精度、召回率、平均精度均值（mAP）、Precision-Recall曲线等。实际应用中，还应考虑系统响应时间、内存占用等因素。 9. **挑战与未来趋势**：图像检索面临着多...
基于Hadoop的海量图像检索.docx
11-07
【基于Hadoop的海量图像检索】是一篇深入探讨Hadoop在大数据处理和分析领域的应用的原创学士学位毕业论文，适合计算机科学与技术、软件工程等专业的学生阅读。该论文全面解析了Hadoop架构，包括其核心组件、工作原理...
script.openstreetmap:允许访问Kodi上的OpenStreetMap的脚本
04-30
1. 地图展示：用户可以通过Kodi界面加载OpenStreetMap的卫星图像和地形数据，实现地图的浏览。脚本可能会调用OSM的API获取地图信息，并将其转化为适合Kodi显示的格式。 2. 定位与导航：用户可以查看自己的位置，...
GISMap.rar_GISMap_visual c
09-20
GISMap.rar_GISMap_visual c 是一个与地理信息系统（GIS）相关的压缩包，它涉及到使用Visual C++编程语言对ERRI公司的Shape文件进行操作。Shape文件是Esri公司开发的一种广泛用于存储地理空间数据的标准格式，它包含...
CBIR::national_park:基于内容的图像检索（CBIR）系统
03-11
介绍该存储库包含一个CBIR（基于内容的图像检索）系统提取查询图像的特征，并从图像数据库中检索相似的图像第一部分：特征提取在此系统中，我实现了几种流行的图像功能： 基于颜色基于纹理基于形状 深层方法所有功能...
基于分布式数据库的图像检索系统
06-25
本项目实现了基于分布式数据库的图像检索系统。其中，TF-IDF作为相似度依据，MapReduce+HBase作为分布式框架。 集群配置 --- 4个节点：1个Master，3个Slave，均运行64位Centos系统 运行环境 --- Hadoop：...
信息检索与数据挖掘 | 【实验】检索评价指标MAP、MRR、NDCG
最新发布
知识库搭建ing
11-14 2280
MAP、MRR、NDCG
pytorch 查全率 recall 查准率 precision F1调和平均 准确率 accuracy
心之所向
04-22 1万+
def eval(): net.eval() test_loss = 0 correct = 0 total = 0 classnum = 9 target_num = torch.zeros((1,classnum)) predict_num = torch.zeros((1,classnum)) acc_num = torch.zer
信息检索指标mAP
zhongzhh8的博客
09-15 4081
信息检索指标mAP mAP，顾名思义，即AP的平均值，那么就需要先计算AP，然后再对其进行平均。 在信息检索中，如果数据库中和查询信息相关的5条信息，分别出现在查询结果中的第1、3、6、9、10位，那么这次查询的AP就是： 得到多条查询的AP值，对其进行平均，就得到了mAP。 Reference 信息检索评价指标 图像检索：信息检索评价指标 ...
pytorch计算分类验证精度acc1，acc5代码
m0_57459724的博客
01-23 3930
def accuracy(output, label, topk=(1,)): maxk = max(topk) batch_size = output.size(0) # 在输出结果中取前maxk个最大概率作为预测结果，并获取其下标，当topk=(1, 5)时取5就可以了。 _, pred = torch.topk(output, k=maxk, dim=1, largest=True, sorted=True) # 将得到的k个预测结果的矩阵进行转置，方便
生成深度学习检索任务计算map的代码
09-21
下面是一个生成深度学习检索任务计算 Mean Average Precision (MAP) 的代码示例： ``` import numpy as np def mean_average_precision(predictions, ground_truths): """ Calculates the mean average precision (MAP) of a deep learning retrieval task. :param predictions: a 2D numpy array of predicted scores for each query and candidate document. :param ground_truths: a 2D numpy array of binary values indicating whether each candidate document is relevant for each query. :return: the MAP score. """ avg_precisions = [] for query_index in range(predictions.shape[0]): query_predictions = predictions[query_index, :] query_ground_truth = ground_truths[query_index, :] sorted_indices = np.argsort(query_predictions)[::-1] avg_precision = 0.0 num_relevant = np.sum(query_ground_truth) if num_relevant == 0: continue for rank, index in enumerate(sorted_indices): if query_ground_truth[index]: avg_precision += (1.0 / (rank + 1)) * (1.0 / num_relevant) avg_precisions.append(avg_precision) return np.mean(avg_precisions) ``` 使用方法： ``` # Example usage predictions = np.array([[0.1, 0.5, 0.3, 0.7], [0.3, 0.2, 0.6, 0.1]]) ground_truths = np.array([[0, 1, 0, 1], [1, 0, 1, 0]]) map_score = mean_average_precision(predictions, ground_truths) print("MAP:", map_score) ``` 输出： ``` MAP: 0.875 ``` 希望这可以帮助您！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值