目标检测中常见的指标 : MS COCO 评估标准

1. 目标检测中，如何才算是准确？

        我们需要根据什么来判断目标检测模型的优劣呢？通过IOU 大于阈值？类别正确，还是 confidence大于制定阈值？其实我们通常采用cmcm评估指标。

2. mAP

mAP的定义

        在目标检测中，我们追求的是要把所有目标都检测出来，所检测的目标尽量不能有遗漏和错误。

        针对目标而言有两个主要的参数：

•        Precision：准确率，用来判断所检测的目标，的准确率，显然，包含了误检的目标越多，准确率越低。
•       Recall： 召回率，用来判断是否检测到了所有目标，显然，遗失目标越多，召回率越低。

        在模型超参数的设置中，如果IOU阈值越低，显然召回率就会变高，同时准确率就会越低。我们往往追求模型的综合指标达到一个最理想的状态，这个状态就是AP，AP = precision * recall，也就是AP曲线上下面的面积最大值，要注意的是，如果在相同的recall下有不同的precision，无需计算多次，只计算precision最大的面积就可以了（见下图中的5，6）。在统计目标检测模型中，我们将所有类别的AP进行求平均值，就是mAP。另外需要注意的是，在评估模型性能中，所计算的mAP都是经nms后的预测框。在COCO  目标检测指标中，又将mAP按照不同的目标大小（分类large，medium，small），不同的IOU阈值（0.5：0.7：0.95），和设置不同的检测数量来更加多样的指标来评估模型。

在不同confidence下的PR曲线

        

3. COCO 目标检测指标

        在coco 指标中，一共有12个指标，在pytorch中，可以通过pycocotool来计算这些指标。

这些指标一共分为4类：

1. Average Precision :平均准确率，一共有3个值，分别对应 :IOU = 0.5-0.95（步长为0.05）的平均值mAP;IOU =0.5 和0.75的mAP，这里需要注意的是，如果在没有说明的情况下，COCO amp，就是1# 参数，Pascal VOC amp ，就是指指标2。
2.  AP Across Scales ：按照目标的尺寸进行评价mAP，s , m,l 分别对应32**2，96**2，
3. AR : 每张图片只给出1，10，100的recall，往往10个和100个检测框的AR基本相等。
4. AP Across scales ：对不同尺寸的目标的AP , 这个指标一般在工程中很少使用。

我们在训练的时候，通常会关注的指标的编号为 ： 1，2，3，4，8，9