本文节选于《深度学习之pytorch物体检测实战》,供以后复习时查看
目标检测的评价标准
对于一个检测器,我们需要制定一定的规则来评价其好坏,从而选 择需要的检测器。对于图像分类任务来讲,由于其输出是很简单的图像 类别,因此很容易通过判断分类正确的图像数量来进行衡量。
物体检测模型的输出是非结构化的,事先并无法得知输出物体的数量、位置、大小等,因此物体检测的评价算法就稍微复杂一些。对于具 体的某个物体来讲,我们可以从预测框与真实框的贴合程度来判断检测 的质量,通常使用IoU(Intersection of Union)来量化贴合程度。
利用Python可以很方便地实现IoU的计算,代码如下:
def iou(boxA, boxB):
# 计算重合部分的上、下、左、右4个边的值,注意最大最小函数的使用
left_max = max(boxA[0], boxB[0])
top_max = max(boxA[1], boxB[1])
right_min = min(boxA[2], boxB[2])
bottom_min = min(boxA[3], boxB[3])
# 计算重合部分的面积
inter =max(0,(right_min-left_max))* max(0,(bottom_min-top_max) Sa = (boxA[2]-boxA[0])*(boxA[3]-boxA[1])
Sb = (boxB[2]-boxB[0])*(boxB[3]-boxB[1])
# 计算所有区域的面积并计算iou,如果是Python 2,则要增加浮点化操作
union = Sa+Sb-inter
iou = inter/union
return iou
对于IoU而言,我们通常会选取一个阈值,如0.5,来确定预测框是 正确的还是错误的。当两个框的IoU大于0.5时,我们认为是一个有效的 检测,否则属于无效的匹配。如图2中有两个杯子的标签,模型产生 了两个预测框。
由于图像中存在背景与物体两种标签,预测框也分为正确与错误, 因此在评测时会产生以下4种样本。
- 正确检测框TP(True Positive):预测框正确地与标签框匹配了, 两者间的IoU大于0.5,如图2中右下方的检测框。
- 误检框FP(False Positive):将背景预测成了物体,如图2中左 下方的检测框,通常这种框与图中所有标签的IoU都不会超过0.5。
- 漏检框FN(False Negative):本来需要模型检测出的物体,模型 没有检测出,如图2中左上方的杯子。
- 正确背景(True Negative):本身是背景,模型也没有检测出来, 这种情况在物体检测中通常不需要考虑。
有了上述基础知识,我们就可以开始进行检测模型的评测。对于一个检测器,通常使用mAP(mean Average Precision)这一指标来评价一 个模型的好坏,这里的AP指的是一个类别的检测精度,mAP则是多个 类别的平均精度。评测需要每张图片的预测值与标签值,对于某一个实 例,二者包含的内容分别如下:
- 预测值(Dets):物体类别、边框位置的4个预测值、该物体的得分。
- 标签值(GTs):物体类别、边框位置的4个真值。
在预测值与标签值的基础上,AP的具体计算过程如图3所示。我 们首先将所有的预测框按照得分从高到低进行排序(因为得分越高的边 框其对于真实物体的概率往往越大),然后从高到低遍历预测框。
对于遍历中的某一个预测框,计算其与该图中同一类别的所有标签框GTs的IoU,并选取拥有最大IoU的GT作为当前预测框的匹配对象。如 果该IoU小于阈值,则将当前的预测框标记为误检框FP。
如果该IoU大于阈值,还要看对应的标签框GT是否被访问过。如果 前面已经有得分更高的预测框与该标签框对应了,即使现在的IoU大于 阈值,也会被标记为FP。如果没有被访问过,则将当前预测框Det标记 为正确检测框TP,并将该GT标记为访问过,以防止后面还有预测框与 其对应。
在遍历完所有的预测框后,我们会得到每一个预测框的属性,即TP 或FP。在遍历的过程中,我们可以通过当前TP的数量来计算模型的召回率(Recall,R),即当前一共检测出的标签框与所有标签框的比 值,如式(1-2)所示。
除了召回率,还有一个重要指标是准确率(Precision,P),即当 前遍历过的预测框中,属于正确预测边框的比值,如式(1-3)所示。
遍历到每一个预测框时,都可以生成一个对应的P与R,这两个值 可以组成一个点(R,P),将所有的点绘制成曲线,即形成了P-R曲线,如图4所示。
然而,即使有了P-R曲线,评价模型仍然不直观,如果直接取曲线 上的点,在哪里选取都不合适,因为召回率高的时候准确率会很低,准 确率高的时候往往召回率很低。这时,AP就派上用场了,计算公式如 式(1-4)所示。
从公式中可以看出,AP代表了曲线的面积,综合考量了不同召回率下的准确率,不会对P与R有任何偏好。每个类别的AP是相互独立 的,将每个类别的AP进行平均,即可得到mAP。严格意义上讲,还需 要对曲线进行一定的修正,再进行AP计算。除了求面积的方式,还可 以使用11个不同召回率对应的准确率求平均的方式求AP。