版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明,原文链接:https://blog.csdn.net/ThomasCai001/article/details/120097650
一、基础概念
- TP: IoU>0.5的检测框数量(同一Ground Truth只计算一次)
- FP: IoU<=0.5的检测框,或者是检测到同一个GT的多余检测框的数量
- FN: 没有检测到的GT的数量
- Precision: TP / (TP + FP)
- Recall: TP / (TP + FN)
- PR曲线: Precision-Recall曲线
- AP: PR曲线下面积
- mAP: mean Average Precision, 即各类别AP的平均值
二、AP、mAP、AR、mAR的计算
- AP
这是一类中的统计数值,图中一共有7个目标,表头的含义分别是:
1. GT ID:真实目标的ID;
2. Confidence: 程序中判断为该目标的概率值;
3. OB(IOU=0.5):IOU为0.5的时候判定为正确的框(检测框和真实框的IOU大于等于0.5为True,小于0.5或已经出现大于0.5的正确框为False);
该计算得到的值即为该类的ap值 - mAP:对所有类的ap值求平均,则为map值。
- AR
average recall: 即平均召回率,对于不同的iou取最大的召回率再求平均值,例如以上iou=0.5的情况下,最大召回率为0.71,再对不同的iou分别取最大的召回率然后求均值即为AR。 - mAR:mAR则为对于所有类别的每一类的AR值求平均值。
三、官方解释
- 除非另有说明,否则AP和AR在多个交汇点(IoU)值上取平均值。具体来说,我们使用10个IoU阈值0.50:0.05:0.95。这是对传统的一个突破,其中AP是在一个单一的0.50的IoU上计算的(这对应于我们的度量APIoU=.50 )。超过均值的IoUs能让探测器更好定位。
- AP是所有类别的平均值。传统上,这被称为“平均准确度”(mAP,mean average precision)。我们没有区分AP和mAP(同样是AR和mAR),并假定从上下文中可以清楚地看出差异。
- AP(所有10个IoU阈值和所有80个类别的平均值)将决定赢家。在考虑COCO性能时,这应该被认为是最重要的一个指标。
- 在COCO中,比大物体相比有更多的小物体。具体地说,大约41%的物体很小(面积<322),34%是中等(322 < area < 962)),24%大(area > 962)。测量的面积(area)是分割掩码(segmentation mask)中的像素数量。
- AR是在每个图像中检测到固定数量的最大召回(recall),在类别和IoU上平均。AR与提案评估(proposal evaluation)中使用的同名度量相关,但是按类别计算。
- 所有度量标准允许每个图像(在所有类别中)最多100个最高得分检测进行计算。
- 除了IoU计算(分别在框(box)或掩码(mask)上执行)之外,用边界框和分割掩码检测的评估度量在所有方面是相同的。
四、通过指标可以得到什么信息
- 第一个值即为map值;
- 第二个值是iou取0.5的map值,是voc的评判标准;
- 第三个值是评判较为严格的map值,可以反应算法框的位置精准程度;
- 中间几个数为物体大小的map值;
- 对于AR看一下maxDets=10/100的mAR值,反应检出率,如果两者接近,说明对于这个数据集来说,不用检测出100个框,可以提高性能。
五、参考以及感谢
- https://www.bilibili.com/video/BV1ez4y1X7g2
- https://www.zhihu.com/question/53405779
- https://datascience.stackexchange.com/questions/25119/how-to-calculate-map-for-detection-task-for-the-pascal-voc-challenge
- https://cocodataset.org/#detection-eval
- https://blog.csdn.net/qq_37541097/article/details/112248194
- https://www.jianshu.com/p/d7a06a720a2b
- https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/course_ppt