Day-5 mAP值计算

名词解释

TP (True Positive)：一个正确的检测，检测的IOU ≥ threshold。即预测的边界框(bounding box)中分类正确且边界框坐标正确的数量。

FP (False Positive)：一个错误的检测，检测的IOU < threshold。即预测的边界框中分类错误或者边界框坐标不达标的数量，即预测出的所有边界框中除去预测正确的边界框，剩下的边界框的数量。

FN (False Negative)：一个没有被检测出来的ground truth。所有没有预测到的边界框的数量，即正确的边界框(ground truth)中除去被预测正确的边界框，剩下的边界框的数量。

Precision (准确率 / 精确率)：「Precision is the ability of a model to identify only the relevant objects」，准确率是模型只找到相关目标的能力，等于TP/(TP+FP)。即模型给出的所有预测结果中命中真实目标的比例。

Recall (召回率)：「Recall is the ability of a model to find all the relevant cases (all ground truth bounding boxes)」，召回率是模型找到所有相关目标的能力，等于TP/(TP+FN)。即模型给出的预测结果最多能覆盖多少真实目标。

score、confidence：预测框的成绩和置信度。在不同的论文中计算方式不同。在yolo3中置信度×预测的类型的概率为预测框的成绩（这里不太确定，这一块儿还不太清楚）。

Precision x Recall curve (PR曲线)：所有precision-recall点相连形成的曲线(一般会为每个类别的预测框建立各自的PR曲线)。

AP (average Precision)：平均精度，在不同recall下的最高precision的均值(一般会对各类别分别计算各自的AP)。

mAP (mean AP)：平均精度的均值，各类别的AP的均值。

这里举个例子：假设现在数据集中一共有5张图片，①第1张图片中有2个A类别的gt，有三个A类别的预测框，score分别为(0.3, 0.5, 0.9)，按照上述计算TP的方法(按score从大到小的顺序匹配)发现score为0.3和0.9的与gt相匹配，则将这两个记为TP。建立用于计算PR曲线的数组metric和记录A类别gt总数的变量ngt，向数组中加入(0.3, 1), (0.5, 0), (0.9, 1)三组数据（每组数据的第一个代表预测框的score，第二个代表这个预测框是否是TP），并将n_gt累加3；使用相同的方法计算接下来的几张图片，②第2张图片中没有A类别的物体(gt数量为0)，则n_gt+=0，但有一个关于A类别的预测框，score为0.45，则向metric中加入(0.45, 0)；③第3张图片中有1个A类别的物体，但没有预测框，则n_gt+=1；④第4张图片中有3个A类别的物体，有5个预测框，其中有3个与gt相匹配，最终n_gt+=3，metric中加入(0.85, 1), (0.8, 1), (0.7, 1), (0.35, 0), (0.1, 0)；⑤第5张图片中没有A类别的物体，也没有A类别的预测框。

最终将得到的A类别的n_gt=6，metric按score值从大到小进行排序为(0.9, 1), (0.85, 1), (0.8, 1), (0.7, 1), (0.5, 0), (0.45, 0), (0.35, 0), (0.3, 1), (0.1, 0) 共9个预测框，也就是可以得到9组PR值，先计算所有的预测框(score阈值设置为0)，得到Precision为5/9、Recall为5/6，然后依次去掉metric中最后一组数据，可以得到(5/8, 5/6), (4/7, 4/6), (4/6, 4/6), (4/5, 4/6), (4/4, 4/6), (3/3, 3/6), (2/2, 2/6), (1/1, 1/6) 共9组PR值。

随着score阈值的增大，预测框的数量会减少，而TP却会有时保持不变，有时变小，所以会出现同一Recall对应多组Precision的情况。
最终在计算AP时，我们只需要取每个Recall值对应的最大Precision进行计算即可。因为A类别一共有6个gt，所以Recall的值应该是从1/6~6/6共6个，也就是要取6组PR值计算平均Precision，因为这个例子中没有出现Recall=6/6的情况，所以R=6/6时的Precision算作0，即类别A的AP=(1/1 + 2/2 + 3/3 + 4/4+ 5/8 + 0) / 6 = 0.7708。按照同样的方式计算其他类别的AP，最后求所有AP的均值，即可得到mAP。