目标检测性能评估参数 — IoU & mAP

---

目标检测：给定一个图像，找到其中的目标，确定其位置，并对目标进行分类。

1. IoU

交并比（Intersection over Union），IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值，这个数据也被称为Jaccard指数。

一般情况下设定IoU阈值为0.5，也就是说当IoU>0.5时，认为是真实的检测(true detection)，否则认为是错误的检测(false detection)。

通过简化，我们可以清晰地看到，交集计算的关键是交集上下界点（图中蓝点）的计算。

我们假设集合 A 为 [x1,x2]，集合 B 为 [y1 ,y2]。然后我们来求AB交集的上下界限。交集计算的逻辑：

• 交集下界 z1：max(x1,y1)
• 交集上界 z2：min(x2, y2)

如果 z2 − z1 < 0，则说明集合 A 和集合 B 没有交集。

2. mAP，mean Average Precision

目标检测问题中的模型的分类和定位都需要进行评估，每个图像都可能具有不同类别的不同目标，因此，在图像分类问题中所使用的标准度量不能直接应用于目标检测问题。

对于物体检测问题，Ground Truth包括图像，图像中的目标的类别以及图像中每个目标的边界框。

使用MAP值时我们需要满足一下条件：

(1) MAP总是在固定的数据集上计算
(2) 它不是量化模型输出的绝对度量，但是是一个比较好的相对度量。当我们在流行的公共数据集上计算这个度量时，这个度量可以很容易的用来比较不同目标检测方法
(3) 根据训练中类的分布情况，平均精度值可能会因为某些类别(具有良好的训练数据)非常高(对于具有较少或较差数据的类别)而言非常低。所以我们需要MAP可能是适中的，但是模型可能对于某些类非常好，对于某些类非常不好。因此建议在分析模型结果的同时查看个各类的平均精度，这些值也可以作为我们是不是需要添加更多训练样本的一个依据。

2.1 P（一张图像某类别的精度）

用计算出的loU值与设定的loU阈值(例如0.5)比较，就可以计算出每个图像中每个类的正确检测次数(A)。对于每个图像，我们都有ground truth的数据，因此也知道了该图像中给定类别的实际目标(B)的数量。因此，一张图像类别C的Precision= A/B，即图像正确预测(True Positives)的数量除以在图像张这一类的总的目标数量。

2.2 AP（N张图像某类别的平均精度）

假如现在有一个给定的类，验证集中有100个图像，并且我们知道每个图像都有其中的所有类(基于ground truth)。所以我们可以得到100个精度值，计算这100个精度值的平均值，得到的就是该类的平均精度，即一个C类的平均精度=在验证集上所有的图像对于类C的精度值的和/有类C这个目标的所有图像的数量

2.3 mAP（N张图像M个类别平均精度的平均值）

现在整个集合中有20个类，对于每个类别，我们都先计算loU，接下来计算精度，然后计算平均精度。所有我们现在有20个不同的平均精度值。使用这些平均精度值，我们可以轻松的判断任何给定类别的模型的性能。

但问题是使用20个不同的平均精度使我们难以度量整个模型，所以我们可以选用一个单一的数字来表示一个模型的表现(一个度量来统一它们)，可以取所有类的平均精度值的平均值，即MAP(均值平均精度)。MAP=所有类别的平均精度求和除以所有类别，即数据集中所有类的平均精度的平均值。

---

参考文献

• 目标检测模型中的性能评估——MAP(Mean Average Precision)

• Measuring Object Detection models — mAP — What is Mean Average Precision?

• 目标检测之 IoU