准确率(precision)和召回率(recall)也称作查准率和查全率
查准率
在预测结果中,究竟有多少是真的正?(找出来对的比例)
就是和query同一ID的图片在查询结果中的占比。
查全率
指所有正样本中,究竟预测对了多少个?(找回来了几个)
就是和query同一ID的图片出现在查询结果中的数量占总数的比例。
利用P-R曲线图直观显示ReID模型的查准率和查全率。
肉眼比对时,我们常从结果的第一个开始,一个一个比对。借鉴这种思路,我们可以逐渐增加查询结果的数量,从第一个开始,一直到系统给出的查询结果的最后一个,把中间每个点对应的查准率和查全率绘制到图上,得到类似下面的结果。
引申到mAP的计算:
PR曲线与坐标围起来的面积叫做Average Precision,即
离散化后得到公式:
令集合Ω为和query同ID的第k个查询结果的集合,改写为
使用梯形面积公式替换矩形面积,得到AP:
最后,平均每个query的AP值便得到mAP。
举例:
题目:
现有两个评价emoji之间相似程度的函数Similarity1()和Similarity2()。
对于query🍎,Similarity1()得到[🍍🍎🍎🍎🍏],Similarity2()得到[🍎🍍🍎🍎🍏]。
对于query🍏,Similarity1()得到[🍏🍎🍍🍏🍏],Similarity2()得到[🍎🍏🍏🍏🍍]。
拿计算Similarity1()在query为🍎举例:
match1 i=1 (P(0), P(1)) = (1/2, 1/2)
match2 i=2 (P(1), P(2)) = (1/2, 2/3)
match3 i=3 (P(2), P(3)) = (2/3, 3/4)
同理可以计算Similarity2()的mAP为0.722,所以我们最终得到,Similarity2()优于Similarity1()。