End-to-End Object Detection with Fully Convolution Network

会议：CVPR 2021

论文：https://arxiv.org/pdf/2012.03544.pdf

代码：GitHub - Megvii-BaseDetection/DeFCN: End-to-End Object Detection with Fully Convolutional Network

干什么

        该篇论文研究的目的是，对于端对端的目标检测，在没有NMS的情况下怎么能和有NMS情况下的性能旗鼓相当。

        作者通过分析DETR实现端到端目标检测的缺点，训练时间长和小目标检测效果不佳，从而提出一个新的思路来实现效果好的端到端目标检测--能否用FCN全卷积网络实现。为了回答这个问题，从标签分配和网络结构出发去研究。

怎么干

        大多数基于全卷积的检测器采用的都是one-to-many的label assignment。这种方法可以提供足够的前景样本，以获得强而健壮的特征表示。但是大量的前景样本会导致单个实例的预测框重复。为了去重作者设计了一个prediction-aware one-to-one (POTO) label assignment，根据分类质量和回归质量动态分配前景样本。

        基于FPN的detector实验表明，重复的框往往产生于——置信度最高的区域附近，因此作者设计了一个3D Max Filtering(3DMF)，它是一个可以嵌入到FPN中的非线性滤波器。它在相邻尺度上使用一个简单的3D-max滤波算子，提高了卷积在局部区域的可分辨性。此外，为了对特征表示学习提供足够的监督，作者修改了one-to-many的assignment作为auxiliary loss。

 

prediction-aware one-to-one (POTO) label assignment
        因为前景损失通常需要额外的权重来缓解优化问题，例如不平衡的训练样本或者多个任务的共同训练。所以提出一种更干净而有效的方式（POTO）来寻找更好的分配：

这里的表示第i个预测和第i个真实之间的匹配质量。表示第i个真实的候选预测集，即空间先验。FCOS采用中心采样策略，其仅ground-truth实例中央部分的预测作为前景样本。我们也在POTO中使用它以获得更高的性能，但是它不是丢弃NMS的必需的。为了获得平衡，通过分类质量得分和回归质量IOU的加权几何平均值来定义质量。超参数α=0.8。

POTO不仅缩小和有NMS方法的差距，而且提高了性能。
 

 Filtering(3DMF)

作者通过实验发现重复的预测主要来自最置信预测的相邻空间区域，所以提出了3DMF。

卷积是一个具有平移不变性的线性运算，可在不同位置为相似模式产生相似输出。然而，这种特性对于去重来说是很大的障碍，尤其是密集检测。

作者将max filter扩展到多尺度了，取名为3Dmax filtering，它将变换每个FPN尺度的特征，并且分别应用到每一通道的特征图中。

在局部区域中，这种模块利用max filtering来选择具有最高激活值的预测，并可以提高与其他预测的区别，来精炼粗糙的密集预测，并抑制重复预测。此外，计算开销也比较小。

 

auxiliary loss

        虽然应用了POTO和3DMF，但是和使用NMS时的表现相比还不是很好，可能是因为一对一的标签分配的监督比较少，使得不能学到到强壮的特征表示。所以作者引入了基于one-to-many的assignment作为auxiliary loss，从而提供足够的监督。

End-to-End Object Detection with Fully Convolutional Network_M1kk0的博客-CSDN博客