MODA与MODP - 目标检测中常见检测指标总结

目标检测中常见检测指标的含义

最近在做多目标检测和目标定位感知相关的工作。之前一直用mAP来测算模型的表现，但是最近频繁接触MODA MODP，特此记录一下。

定义参考这篇论文：PERFORMANCE EVALUATION PROTOCOL FOR FACE, PERSON AND VEHICLE DETECTION & TRACKING IN VIDEO ANALYSIS AND CONTENT EXTRACTION (VACE-II) CLEAR – CLASSIFICATION OF EVENTS, ACTIVITIES AND RELATIONSHIPS

1. Overlapping Ratio

这个叠度其实就是IoU，只不过在这篇文章里叫Overlapping Ratio。
$$OverlappingRatio=\sum _{i=1}^{N_{mapped}^t}\frac{|G_i^{(t)}\cap D_i^{(t)}|}{|G_i^{(t)}\cup D_i^{(t)}|}$$

公式与叠度的计算完全一样，不过多了一些角标。$G_i^{(t)}$代表的是第$t$帧里面的第$i$个物体的ground truth标签。同理$D_i^{(t)}$代表检测的结果。$N_{mapped}^t$代表此帧一共检测出多少个物体。注意此处的Ratio实际上是对比率进行求和。

2. MODP(Multiple Object Detection Precision)

MODP的定义比较简单：
$$MODP(t)=\frac{OverlapRatio}{N_{mapped}^t}$$
刚刚说Overlap Ratio是求和，所以次数除以数量，可以理解为平均的与gt的叠度。如果$N_{mapped}^t$是0，也就是没有检测结果，那么MODP直接是0。

最后标准化的MODP的计算需要考虑到所有的帧，于是N(normalized)-MODP的定义就是：
$$N-MODP=\frac{{\Sigma }_{t=1}^{N_{frames}}MOD{P}_{(t)}}{N_{frames}}$$

3. MODA(Multiple Object Detection Accuracy)

首先上公式：
$$MODA(t)=1-\frac{c_m(m_t)+c_f(f{p}_t)}{N_G^t}$$
$t$表示第几帧，$m_t$表示第$t$帧里的漏检的数量（missed detect，就是没有检测出来的），$f{p}_t$表示false positive，也就是假阳性的数量（false alarm，多检测出来的）。$c(m)$代表自定义的missed detect（漏检）的损失函数，$c_f$代表自定义的false alarm的损失函数。$N_G^t$代表在第$t$帧里ground truth物体的数量。

与MODP类似，MODA的标准化定义为:
$$N-MODA=1-\frac{{\Sigma }_{i=1}^{N_{frames}}(c_m(m_i)+c_f(f{p}_i))}{{\Sigma }_{i=1}^{N_{frames}}{N}_G^i}$$

图a就是false alarm（虚警、假阳性）的例子，图b是miss detect（漏检）的例子。

4. 目标检测中的Precision、Accuracy的一些反思

发现之前自己做项目的时候都是很浅显的把Precision和Accuracy当做目标检测的指标，却也从来没想过到底合不合理，看来还是自己之前想的太幼稚了。

其实感觉Precison和Accuracy主要用作目标分类，因为这两个及其相关其他指标都是用TP FP TN FN来计算的，而这些都是物体分类相关的数值，并不能直接表示检测框的准确度（虽然分类的准确度很大程度上依赖于目标框的位置准确度）。于是MODA，MODP这两个指标应运而生，完全用来检测目标框的准确与否。这也是为什么现在看AP已经不够了，一些曾经优秀、经典的算法其实MODP，MODA都不高。