SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects

SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects

1.Introducrion

现在的检测器没有花努力在有用的目标检测上面：小目标、杂乱无章的分布和方向任意（这种问题很多）。显示中主要的挑战如下：
1）Small objects。航空图片通常都包含在复杂场景中的小目标。
2）Cluttered arrangement(杂乱无章的分布)。目标一般都是稠密的。
3）Arbitrary oriention(朝向任意分布)。在空中的目标一般朝向都是任意的。
目前所有的网络的boxes都是基于网络是水平的。NMS技术将减少场景的稠密分布。同时水平boxes对目标的旋转无感，但旋转是十分重要的信息对于目标来说。
本文的贡献如下：
1.为小目标量身定做了一个特征融合和锚框采样。
2.对于稠密小目标，设计了一个多尺度的注意力网络去减少了背景的影响。
3.为了提高模型的鲁棒性，通过引入了Iou,设计了一个新的smooth L1 loss被引入。
4.通过实验证明了本文提出的技巧是有普适效果的。

2.The Proposed Method

2.1Finer Sampling and Feature Fusion Network

检测小目标的阻碍主要有两个：1.不充足的目标信息；2.不充组的anchors采样。
Feature fusion:主要有FPN、TDM和RON。
Finer sampling:不充足的训练样本和不平衡会影响检测表现。根https://blog.csdn.net/weixin_45358930/article/details/131233951这篇论文的分析，当目标很小的时候，当anchor足够小的时候，对目标的检测的效果是足够大的。所以对于小目标而言，通过增加采样点的数目是可以提高检测的效果。
通过上文的分析，本文提出了全新的特征融合网络SF-Net。网络结构如下：

在这个网络中$S_A$是等于特征图减少的倍数。也就是说$S_A$的大小是2的倍数。这个方法可以让网络更加灵活地采样。为了减少网络参数，SF-Net只是用了ResNet中的C3和C4层。同时还使用了特征融合。

2.2 Multi-Dimensional Attention Network

由于在现实网络中，被RPN检测到的杂波有很多的噪声。额外的噪声包围住目标的信息，这样目标就会变得模糊，从而影响到目标的检测。这样会出现漏检和虚警。因此，这是很有必要的去增强目标的细节同时抑制虚警。
很多无监督的方法被提出。
为了更加有效地在复杂背景中找到小目标，本文提出了一个有监督的multi-dimensional attention learner（MDA-Net）。如下图所示:

首先，将特征层F3提取出来，然后经过不同尺寸大小的卷积核，得到一个二通道的显著性地图，其中两通道分表代表的是前景和背景。然后，再使用softmax操作对显著性图使用，并且其中的一个channel与没有变换的F3相乘。由于显著性图是连续的这样非对象也会被照顾到，这是对保留网络上下文信息同时提高网络的鲁棒性。这个过程本文选择使用了有监督学习的方法。首先，根据GT，得到二值图。然后，用显著性图和二值图做交叉熵。

2.3Rotation Branch

第一阶段，不进行旋转。使用正常的NMS。第二阶段，再根据数据进行微调并引入了rotation。于是本文选择使用R-NMS。同时回归的encode和decode计算公式如下图所示：

具体的损失函数如下图所示：