Multistage Enhancement Network for Tiny Object Detection in Remote Sensing Images

Abstract

小目标检测面临着两个挑战：
1、Iou对微小物体位置偏差的高灵敏度
2、微小物体低质量特征表示
为了解决上述问题，我们提出了多阶段增强网络MENet，该网络完成了对检测器多个阶段微小物体的实例级和特征级增强，由于基于IoU的标签分配极大地恶化了微小物体的正样本，我们首先提出了一种基于中心区域（CR）的标签分配，以在区域建议网络（RPN）中替换它。CR标签分配将落入地面真值框CR中的锚点视为阳性样本，这为微小物体提供了更多的阳性样本。然后，我们设计了一个门控上下文聚合（GCA）模块，该模块选择性地聚合有价值的上下文信息，以增强微小对象的特征表示。此外，我们在区域卷积神经网络（R-CNN）中设计了一个正RoI（pRoI）特征生成器，为微小物体生成丰富多样的高质量pRoI特征。

Method

CR-Based Label Assignment

由于微小目标在轻微的定位偏差表现出严重的IoU变化，RPN无法在基于IoU的标签分配上为微小目标分配足够多的正例，严重限制了对微小目标的学习。我们提出了CR标签分配，根据GT框的不同区域分配正例和负例。算法1详细描述了我们提出的方法。

上述程序表明，CR对CR标签分配至关重要，并直接影响分配给每个地面真值框的阳性样本数量，即L的选择。因此，我们设计了一种固定面积CR选择方法。一方面，固定区域CR可以为微小物体提供比自适应区域更多的正样本。另一方面，它缓解了不同尺度对象之间阳性样本的不平衡。
如果g(x,y,w,h)的长边比预定义的L长，则$$L=L\times (L/A{R}_g)$$,并选择(x,y)作为CR的中心，AR_g为GT框的长宽比，中央区域的长边方向与GT框的长边平行，保持与GT框相同的长宽比

Gated Context Aggregation

微小物体的有限尺度导致特征表示质量差，严重影响检测性能。
FPN迭代地将丰富的语义信息传播到较低级别的特征，并改进了微小对象的特征表示。
然而，FPN仍然需要学习本地信息，并且缺乏捕获上下文信息。因此，我们提出了一种GCA模块，可以选择性地聚合微小对象的有价值的上下文信息，同时忽略无关的背景噪声。

Efficient Attention Mechanism

考虑到微小目标的低质量特征表示，我们的目标是引入上下文信息来协助微小目标的特征表示。自我注意机制（SAM）已证明其在建模远程交互中的有效性。然而，SAM存在O（N2）的二次计算复杂性，这需要大量的内存和计算资源来处理高分辨率特征图。为了减轻上述计算负担，我们引入了线性复杂度为O（N）的EAM[52]，其结构如图所示。
EAM将归一化的key特征K视为输入特征的d个全局语义注意图并且通过加权求和聚合值特征V建立全局上下文向量G。然后将全局上下文信息与归一化Q相乘得到最终结果。遵循矩阵乘法的组合特性，EAM在数学上等价于SAM，但有效地降低了计算复杂度。

Gated Fusion Mechanism

由于遥感对象总是在复杂的背景中显示，我们设计了一种门控融合机制，有选择地将有价值的上下文信息聚合到低级特征中。实际上，我们对Ci使用1*1卷积核sigmoid激活函数产生空间注意力图Wi然后被用来指导上下文聚合到低级特征。
通过将EAM和门控融合机制嵌入到FPN中，我们得到了所提出的GCA模块，如下所述