什么是mAP ? 比较目标检测模型性能的统计量,了解一下?


翻译 | 张建军

出品 | 人工智能头条(公众号ID:AI_Thinker)


在机器学习领域,对于大多数常见问题,通常会有多个模型可供选择。当然,每个模型会有自己的特性,并会受到不同因素的影响而表现不同。


每个模型的好坏是通过评价它在某个数据集上的性能来判断的,这个数据集通常被叫做“验证/测试”数据集。这个性能由不同的统计量来度量,包括准确率( accuracy )、精确率( precision )、召回率( recall )等等。选择我们会根据某个特定的应用场景来选择相应的统计量。而对每个应用来说,找到一个可以客观地比较模型好坏的度量标准至关重要。


在本文,我们将会讨论目标检测问题中最常用的度量标准 --- 平均精度均值(Mean Average Precision, mAP)。


大多数情况下,这些度量标准都很容易理解和计算。例如,在二类分类问题中,精确率和召回率都是简单和直观的统计量。


而另一方面,目标检测则是一个相对不同且很有意思的问题。


即使你的目标检测器检测到一张图片中有猫,但是如果你找不到这只猫在图片中的具体位置,那么这个检测器也是没有任何用处的。


由于你现在需要预测一张图片中目标是否出现及其具体位置,那么我们如何计算这个度量就变得相当有意思了。


首先,让我们定义目标检测问题,这样我们可以对问题有一个统一的认识。


目标检测问题


对于“目标检测问题”,我的意思是,给定一张图片,找到图中的所有目标,确定他们的位置并对他们进行分类。


目标检测模型通常是在给定的固定类别上进行训练的,因此模型在图中只能定位和分类这些已有的类别。


此外,目标的位置通常是用边界矩形/边界框的形式来确定的。


因此,目标检测包含了两个任务,确定图片中目标的位置,以及对目标进行分类。




图1- 几个比较有名的图像处理问题,图片来自斯坦福大学 CS231n 课程幻灯片(第8讲)


如下文所说,平均精度均值 mAP 是预测目标位置以及类别的这一类算法的性能度量标准。因此,从图1我们可以看到, mAP 对于评估目标定位模型、目标检测模型以及实例分割模型非常有用。


评估模型检测模型


为什么选择 mAP?


目标检测问题中,每张图片中可能会含有不同类别的不同目标。如前文所说,模型的分类和定位性能都需要被评估。


因此,精确率,这个图像分类问题中使用的标准的评价度量,并不能直接用在这里。现在,是平均精度均值 mAP 发挥作用的时候了。我希望,读完本文之后你可以理解 mAP 的含义和意义。


关于参考标准(Ground Truth)


对于任何算法来说,度量的值总是把预测值和参考标准的信息进行比较之后计算得到的。我们只知道训练、验证和测试数据集的参考标准信息。


在目标检测问题中,参考标准的信息包括图像,图像中目标的类别,以及每个目标的真实边界框。


  • 一个例子


我们给定了真实图片(jpg, png 等格式)和其他解释性文字(边界框的坐标( x, y,宽度和高度)和类别),画在图片上的红色框和文本标签只是方便我们自己观看。




参考标准信息的可视化


因此,对于这个特定的例子,我们的模型在训练期间得到的其实是这张图片:




实际图片


以及三组定义了参考标准的数字(让我们假设这张图片的分辨率是 1000 x 800 像素,表中所有坐标的单位都是像素,坐标值大小是估计的)



让我们实际操作一下,看看 mAP 是如何计算的。


我会在另一篇文章介绍各种目标检测算法,包括它们的方法以及性能。现在,让我们假设我们手上已经有一个训练好的模型,而且我们将在验证数据集上评估它的结果。


计算 mAP


让我们假设原始图片和参考标准的解释性文字如上文所述。训练数据和验证数据的所有图像以相同的方法进行了标注。


训练好的模型会返回许多预测结果,但是这些预测结果中的大多数都会有非常低的置信度分数,因此我们只需考虑那些超过某个报告置信度分数的预测结果。


我们用模型对原始图像进行处理,下面是目标检测模型在置信度阈值化之后返回的结果。


带有边界框的图像:




来自我们模型的结果


我们可以说这些检测结果是正确的,但是我们怎么量化呢?


首先,我们需要知道每个检测结果的正确性。能够告诉我们一个给定的边界框的正确性的度量标准是“交并比”(Intersection over Union,  IoU)。这是一个非常简单的可视量。


就文字而言,某些人可能会说这个量的名字本身就已经解释了自己的含义,但是我们需要更好的解释。我会简单地解释 IoU 的含义,对于那些很想深入了解 IoU 含义的读者,Adrian Rosebrock 有一篇写得非常好的文章,可以作为该内容的补充。

https://www.pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/


IoU


交并比是预测边界框和参考边界框的交集和并集之间的比率。这个统计量也叫做 Jaccard 指数(Jaccard Index),是由 Paul Jaccard 在 20 世纪初首次提出的。


要获得交集和并集的值,我们首先把预测边界框覆盖在参考边界框之上。(如图所示)


现在对于每个类别,预测边界框和参考边界框的重叠部分叫做交集,而两个边界框跨越的所有区域叫做并集。




我们仅以这匹马作为例子


上图中类别为马的交集和并集区域看上去就像这样:




这个例子中交集区域相当大


交集覆盖的是边界框重合区域(蓝绿色区域),并集覆盖的是橙色和蓝绿色的所有区域。


然后, IoU 可以像这样计算:






分辨正确检测结果和计算精确率


利用 IoU ,我们现在要分辨检测结果是否正确。最常用的阈值是0.5:如果 IoU > 0.5,那么认为这是一个正确检测,否则认为这是一个错误检测。


现在我们为模型生成的每一个检测框计算其 IoU 值(置信度阈值化之后)。利用该 IoU 值以及我们的 IoU 阈值(例如 0.5),我们为图片中的每一个类计算其正确检测的数量(A)。


现在对于每一张图片,我们都有参考标准的数据,可以告诉我们在图片中某个特定类别的真实目标数量(B)。而且我们已经计算了正确预测的数量(A)(True Positives)。因此现在我们可以用这条公式计算模型对该类别的精确率(A/B)。





给定的图片中类别 C 的精确率=图片中类别 C 的真正类数量/图片中类别 C 所有目标的数量


对于一个给定的类别,让我们对验证集中的每张图片都计算它的精确率。假设我们的验证集中有 100 张图片,并且我们知道每张图片都包含了所有的类别(根据参考标准告诉我们的信息)。这样对于每个类别,我们会有 100 个精度率的值(每张图片一个值)。让我们对这些 100 个值进行平均。这个平均值叫做该类的平均精度(Average Precision)。





某个类别(C)的平均精度=验证集中该类(C)的所有精确率的和/含有该类别(C)目标的图像数量


现在,假设在我们整个数据集中有 20 个类别。对每一个类别,我们都会进行相同的操作:计算 IoU  -> 精确率(Precision)-> 平均精度(Average Precision)。所以我们会有 20 个不同的平均精度值。利用这些平均精度值,我们可以很轻松地判断我们的模型对任何给定的类别的性能。


为了只用一个数字来表示一个模型的性能(一个度量解决所有问题),我们对所有类别的平均精度值计算其均值(average/mean)。这个新的值,就是我们的平均精度均值 mAP (Mean Average Precision)!!(我得说,这个命名非常有创意)





平均精度均值=所有类别的平均精度值之和/所有类别的数目


所以,平均精度均值即数据集中所有类别的平均精度的均值。


当我们比较 mAP 值的时候要记得几个重要的点:


  • mAP 总是在固定的数据集上进行计算。


  • mAP 并不是量化模型输出的绝对度量,但它是一个不错的相对度量。当我们在流行的公开数据集上计算这个度量时,它可以很容易地被用来比较目标检测的新老方法的性能好坏,因此我们并不需要一个绝对度量。


  • 根据不同的类别在训练数据中的分布情况不同,平均精度值可能对于某些类别(这些类别有很好的训练数据)非常高,然后对于某些类别(这些类别有更少的数据或者坏数据)可能非常低。所以,你的 mAP 值可能看上去还不错,但是你的模型可能只对某些类别较好,而对某些类别的效果非常差。因此,当分析你的模型结果时,最好单独类别的平均精度值。这些值过低的话可能意味着需要添加更多的训练样本了。

编者注:有读者在原文下留言,称作者对 mAP 的理解是错误的,因为他没有考虑 recall。欢迎大家留言讨论。


作者:Tarang Shah

原文链接:

http://tarangshah.com/blog/2018-01-27/what-is-map-understanding-the-statistic-of-choice-for-comparing-object-detection-models/



精彩推荐

AI科技大本营公开课



时间:5月24日 20:00-21:00

扫描海报二维码加入 课程交流群

点击阅读原文,免费报名


往期公开课:https://edu.csdn.net/huiyiCourse/detail/754



点击 | 阅读原文 | 免费报名

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页