目标检测计算指标AP&mAP

当我们完成目标检测模型的训练之后，需要合适的指标对模型的性能进行度量，常用的指标有AP、mAP两种。
参考：
http://www.mamicode.com/info-detail-2307140.html
https://zhuanlan.zhihu.com/p/88896868

1.1 基本概念

要了解AP和mAP，需要首先了解精度和召回率的概念。
形象的解释可以理解为下图（图片来源网络）：

假设现在有这样一个测试集，测试集中的图片只由大雁和飞机两种图片组成，假设你的分类系统最终的目的是：能取出测试集中所有飞机的图片，而不是大雁的图片。
(1) True positives – 正样本被正确识别为正样本，飞机的图片被正确的识别成了飞机。
(2)True negatives – 负样本被正确识别为负样本，大雁的图片没有被识别出来，系统正确地认为它们是大雁。
(3)False positives – 假的正样本，即负样本被错误识别为正样本，大雁的图片被错误地识别成了飞机。
(4)False negatives – 假的负样本，即正样本被错误识别为负样本，飞机的图片没有被识别出来，系统错误地认为它们是大雁。
(5)precision – 精确度, 所有分类为正的样本中，真的为正的样本所占得比例, 所有被识别出来的飞机中，真正的飞机所占的比例
(6)recall – 召回率, 分类为正的样本占所有正样本的比例，即原始的正样本中有多少被模型正确地划分为正, 被正确识别出来的飞机个数与测试集中所有真实飞机的个数的比值
(7)Accuracy – 准确率, 所有样本被正确划分的比例
Precision-recall曲线：改变识别阈值，使得系统依次能够识别前K张图片，阈值的变化同时会导致Precision与Recall值发生变化，从而得到曲线。
如果一个分类器的性能比较好，那么它应该有如下的表现：在Recall值增长的同时，Precision的值保持在一个很高的水平。
而性能比较差的分类器可能会损失很多Precision值才能换来Recall值的提高。通常情况下，文章中都会使用Precision-recall曲线，来显示出分类器在Precision与Recall之间的权衡。

1.2平均精度Average-Precision即AP

以分类器为例，精度和召回率一般是无法同时满足的，精度高那么召回率便会降低。
假设将所有的样本都划分为正样本，此时精度会很低，而召回率为1，即所有的正样本都被正确划分。单纯使用精度或者召回率是很难完整地度量一个模型的性能的，为了解决这一问题，便提出了AP(average precision)的概念。
AP就是Precision-recall曲线下面的面积，通常来说一个越好的分类器，AP值越高。
Precision-recall曲线，以召回率为横坐标，精确率为纵坐标，用不同的阀值，统计出一组不同阀值下的精确率和召回率。
P-R曲线如下(图片来源网络)：

实际多类别分类任务中，我们通常不满足只通过top-5来衡量一个模型的好坏，而是需要知道从top-1到top-N（N是所有测试样本个数，本文中为20）对应的precision和recall。显然随着我们选定的样本越来也多，recall一定会越来越高，而precision整体上会呈下降趋势。把recall当成横坐标，precision当成纵坐标，即可得到常用的precision-recall曲线。

1.3AP计算

接下来说说AP的计算，此处参考的是PASCAL VOC CHALLENGE的2010年之前计算方法。
首先设定一组阈值，[0, 0.1, 0.2, …, 1]。然后对于recall大于每一个阈值（比如recall>0.3），我们都会得到一个对应的最大precision。这样，我们就计算出了11个precision。AP即为这11个precision的平均值。这种方法英文叫做11-point interpolated average precision。​

当然PASCAL VOC CHALLENGE自2010年后就换了另一种计算方法。
新的计算方法假设这N个样本中有M个正例，那么我们会得到M个recall值（1/M, 2/M, …, M/M）,对于每个recall值r，我们可以计算出对应（r’ >= r）的最大precision，然后对这M个precision值取平均即得到最后的AP值。计算方法如下(图片来源网络)：​

1.4 mean Average Precision(mAP)

mAP(mean average precision)即多个类别AP的平均值。
AP衡量的是学出来的模型在每个类别上的好坏，mAP衡量的是学出的模型在所有类别上的好坏，得到AP后mAP的计算就变得很简单了，就是取所有AP的平均值。

1.5类别置信度

分类器返回某个目标的类别置信度，即该目标属于A的概率，属于B的概率。即分类器最后softmax得到的结果