论文笔记之Repulsion Loss: Detecting Pedestrians in a Crowd

一、摘要

本文首先通过实验探索人群遮挡对检测器性能的伤害，然后提出了一种专门针对人群场景的边界框回归损失，称为排斥力。 这种损失是由两部分组成：目标的吸引力和周围其他物体的排斥。***（就像磁铁的同性相吸异性相斥）*** 排斥项可以防止proposal移至周围的目标，从而导致不准确的定位。

二、遮挡问题

在行人检测中，人群被遮挡的情况非常常见，原因是行人经常聚集在一起，互相遮挡。人群遮挡的主要影响是增加了行人定位的难度。例如，当目标行人T与另一个行人B靠的比较近时，探测器容易混淆，因为这两个行人具有相似的外观特征。结果，预测框本来应该是定位到T但是结果可能会移动到B，从而导致定位不准确。更糟糕的是，最终结果需要通过非最大值抑制（NMS）进一步处理，最初将边界框从T移到B，NMS后可能会被B的预测框所抑制，使T变成漏检。也就是说，人群遮挡使检测器对NMS阈值敏感：较高的阈值会带来更多的误检，而较低的阈值会导致更多的漏检。
现有的方法仅需要proposal接近其指定目标，而不考虑周围物体。在标准边界框回归损失（smoothL1损失）中，当预测框移动到周围物体时，没有其他惩罚。 所以是否可以考虑其周围物体的位置？
受磁铁特性（即磁铁吸引和排斥）的启发，本文提出了一种新颖的定位边界框的方法，称为排斥力（RepLoss）。 使用RepLoss，不仅需要每个proposal接近其指定的目标T，而且还必须远离其他目标不是T的proposal。 例如，如图所示，由于移至B的红色边界框与周围的非目标对象重叠，因此会受到额外的惩罚。 因此，RepLoss可以有效地防止预测的边界框移动到相邻的重叠目标（遮挡的情况），这使检测器对人群场景更加鲁棒。

三、密集遮挡的影响分析

3.1 数据集分析

在CityPersons数据集中，验证子集中共有3157条行人注释，其中48.8％与另一个带注释的行人的IoU为高于0.1。 此外，所有行人中有26.4％与另一名带注释的行人IoU高于0.3。 人群高度阻塞严重损害行人探测器的性能。

3.2 漏检和误检

如图所示是不同检测分值下在 reasonable-crowd 子集上的漏检数量，红色线是baseline的，蓝色线是RepLoss的。在现实应用中，只考虑带有高置信度的预测边界框，曲线左端（高置信度）的高漏检量意味着实际效果并不好。

如图所示是由密集遮挡导致的误检占全部误检的比例，可见RepLoss有效地减少了由于人群阻塞而导致的漏检和误检。

如图是人群检测错误的可视化示例。 绿色框是正确的预测边界框，而红色框是由人群遮挡引起的误报。 置信度分数的输出也被附上。 错误通常会发生当预测框轻微或剧烈移动到相邻的真实框目标时（例如右上角的物体），或以几个重叠的目标真实框（例如右下角的物体）。 而且，人群错误通常有较高的置信度，因此导致排名靠前的false positives。 这表明提高探测器在人群拥挤场景的鲁棒性，需要在执行边界框回归时增加更多的歧视性损失。

3.3总结

对错误案例的分析验证了本文的观察结果：行人检测器受到人群遮挡的影响是非常大的，因为它通过增加定位困难造成了大多数漏检和误检。 为了解决这些问题，提出了排斥力损失以提高行人检测器在人群场景中的鲁棒性。

四、RepLoss

RepLoss由三部分组成：

其中 L_Attr 是吸引项，需要预测框靠近其指定目标；L_RepGT 和 L_RepBox 是排斥项，分别需要预测框远离周遭其他的 groundtruth 物体和其他指定目标的预测框。系数 α 和 β 充当权重以平衡辅助损失。

4.1 吸引项

本文沿用 Smooth_L1 损失构造吸引项。给定一个 proposal P ∈ P_+（所有的正样本），为每个proposal匹配一个与之有最大IoU值的真实目标框：G^P _Attr = arg max_G∈G IoU(G,P)。B^P 是回归自 proposal P 的预测框。

4.2 排斥项RepGT

RepGT 损失旨在使 proposal 受到相邻的非目标 groundtruth 物体的排斥。给定一个 proposal P ∈ P_+，它的排斥 groundtruth 物体被定义为除了其指定目标之外带有最大 IoU 区域的 groundtruth 物体。受 IoU 损失的启发，RepGT 损失被计算以惩罚 B^P 和 G^P_Rep 之间的重叠（由 IoG 定义）。IoG(B, G) ∈ [0, 1] 。其中 Smooth_ln 是一个在区间 (0, 1) 连续可微分的平滑 ln 函数，σ ∈ [0, 1) 是调节RepLoss 对异常值的敏感度的平滑参数。由此可见，proposal 越倾向于与非目标 groundtruth 物体重叠，RepGT 损失对边界框回归器的惩罚就越大，从而有效防止边界框移向相邻的非目标物体。

4.3 排斥项RepBox

NMS 是绝大多数检测框架中不可或缺的后处理步骤，为降低检测器对 NMS 的敏感度，作者接着提出 RepBox 损失，意在排斥来自不同指定目标的proposal。其中1是是一个恒等函数，分母的参数是一个小常数防止分母为零。从上式可以看到，为最小化 RepBox 损失，指定目标不同的两个预测框之间的 IoU 区域需要较小。这意味着 RepBox 损失可以降低 NMS 之后不同回归目标的边界框合并为一的概率，使得检测器在密集场景中更鲁棒。

五、实验结果

5.1 消融研究

从表中可以看到，单独加入排斥项的其中一个就有挺好的效果，两个都加入的效果最好，而且对于不同分辨率的图像都有着很好的评估结果。

在新注释中评估的 Calech-USA 测试集 (reasonable) 结果。 在 0.5 IoU 阈值下，作者逐步在基线上把当前最优推进到显著的 4.0 MR^−2。当把 IoU 阈值增至 0.75，持续的增进证明了 RepLoss 的有效性。

5.2 与SOTA对比

六、总结

本文从分析数据集出发，找到遮挡对于检测器性能影响的具体情况，借助磁极的同性相吸异性相斥的思想提出了带有排斥项的RepLoss。其主要想法在于目标物体的吸引损失并不足以训练出最优的检测器，来自周遭物体的排斥损失同样至关重要。RepLoss 专为行人检测精心设计，尤其提升了密集场景的检测性能。