Soft-NMS -- Improving Object Detection With One Line of Code 论文笔记

Soft-NMS – Improving Object Detection With One Line of Code

论文链接： https://arxiv.org/abs/1704.04503

一、 Problem Statement

传统的NMS首先会对预测出来的bounding box进行排序，然后选择一个最大值与所设置的阈值进行比较，从而删除那些重叠度较高的bounding box。但是会有下图所示的问题:

传统的NMS会把相邻的检测框的置信度变为0。因此一个目标如果真的出现在重叠的阈值范围内，它很有可能被遗漏，导致一个精度的下降。

二、 Direction

作者考虑如果我们降低检测的分数，而不是直接置为0，这个检测框依旧在排序的队列之中。也就是说，如果一个bounding box 与最大值的bounding box有很高的重叠度，它应该被赋予一个较低的值。如果它与最大值的bounding box有非常低的重叠度，它就维持原来的值。

三、 Method

传统的NMS:
s i = { s i , i o u ( M , b i ) < N t 0 , i o u ( M , b i ) ≥ N t s_i = \{ \begin{aligned} s_i, \quad iou(M,b_i) < N_t \\ 0, \quad iou(M,b_i) \geq N_t \end{aligned} si​={si​,iou(M,bi​)<Nt​0,iou(M,bi​)≥Nt​​

$N_t$是阈值，$s_i$为分数，$M$是最大值。然而，NMS需要考虑下列条件:

1. 相邻检测框的分数应该是减小到一定的程度，使得有较小的的可能增加false positive比例
2. 用较小的NMS阈值去移除相邻检测框是sub-optimal的。如果在测试的阶段(evaluation)使用较大的NMS阈值，增加miss-rate
3. 如果使用大的NMS阈值，会导致average precision下降。

因此作者重新设计rescoring function for Soft-NMS，如下:

s i = { s i , i o u ( M , b i ) < N t s i ( 1 − i o u ( M , b i ) ) , i o u ( M , b i ) ≥ N t s_i = \{ \begin{aligned} s_i, \quad iou(M,b_i) < N_t \\ s_i(1-iou(M,b_i)), \quad iou(M,b_i) \geq N_t \end{aligned} si​={si​,iou(M,bi​)<Nt​si​(1−iou(M,bi​)),iou(M,bi​)≥Nt​​
也就是说，如果大于NMS阈值的话，只是减少它的分数，而非置为0。作者更进一步考虑，如果这个penalty不是连续的，可能会导致检测框ranked list改变的很大。理想状态下应该是:如果没有重叠区域，应该是没有penalty的，反之，IoU越大，penalty越大。而且，如果IoU小，应该逐渐增大penalty。最后如果bounding box $b_i$与$M$的IoU接近1，$b_i$应该有很大的penalty。
所以作者最后使用了Gaussian penalty。
$$s_i=s_i{e}^{-\frac{iou(M,b_i{)}^2}{\sigma }},\forall b_i\notin D$$

$\sigma$在本论文中使用0.5。具体的伪代码如下:

四、 Conclusion

Soft-NMS改进了传统的NMS算法，而没有增加额外的参数，容易拓展到其他检测网络中。

Reference