要点:
- Precision (准确率 ):TP/(TP+FP),即模型给出的所有预测结果中命中真实目标的比例。
- Recall (召回率):TP/(TP+FN),被找到的正确目标和所有正确目标的比值。
官方文档:https://cocodataset.org/#detection-eval
参考文章: mAP的计算
一 目标检测中常见指标:
- TP (True Positive):一个正确的检测,检测的IOU ≥ threshold。即预测的边界框(bounding box)中分类正确且边界框坐标正确的数量。
- FP (False Positive):一个错误的检测,检测的IOU < threshold。即预测的边界框中分类错误或者边界框坐标不达标的数量,即预测出的所有边界框中除去预测正确的边界框,剩下的边界框的数量。
- FN (False Negative):一个没有被检测出来的ground truth。所有没有预测到的边界框的数量,即正确的边界框(ground truth)中除去被预测正确的边界框,剩下的边界框的数量。
- Precision (准确率 / 精确率):「Precision is the ability of a model to identify only the relevant objects」,准确率是模型只找到相关目标的能力,等于TP/(TP+FP)。即模型给出的所有预测结果中命中真实目标的比例。
- Recall (召回率):「Recall is the ability of a model to find all the relevant cases (all ground truth bounding boxes)」,召回率是模型找到所有相关目标的能力,等于TP/(TP+FN)。即模型给出的预测结果最多能覆盖多少真实目标,被找到的正确目标和所有正确目标的比值。
- 一般来说,对于多分类目标检测的任务,会分别计算每个类别的TP、FP、FN数量,进一步计算每个类别的Precision、Recall。
- score、confidence:每个预测边界框的分数/置信度,不同论文中的表达方式不同。即你的模型除了需要给出每个预测边界框的分类结果和边界坐标,还要给出这个边界框包含目标的可能性,score/confidence高代表模型认为其包含目标的可能性大,或者说模型优先选择score/confidence高的边界框。
- Precision x Recall curve (PR曲线):所有precision-recall点相连形成的曲线(一般会为每个类别的预测框建立各自的PR曲线)。至于为什么同一个recall值下会有多个precision值,可以看之后部分的解释。
-
AP (average Precision):平均精度,在不同recall下的最高precision的均值(一般会对各类别分别计算各自的AP)。
-
mAP (mean AP):平均精度的均值,各类别的AP的均值。
COCO Evaluation Result(效果评估):