MFO-Net：一种用于无人机图像目标检测的多尺度特征优化网络

MFO-Net: A Multiscale Feature Optimization Network for UAV Image Object Detection

摘要

        提出了一种多尺度特征优化网络MFO-Net。设计了三个关键模块：特征优化融合模块、多尺度局部特征聚合模块和特征增强模块。FOF模块通过学习逐像素位移，增强了不同层次上具有不一致上下文的特征融合，促进了更有效的特征融合，从而进一步有助于聚焦和捕获关于小物体的关键信息。MLFA模块通过多分支条带卷积块聚合更丰富的上下文信息，FE模块提取更丰富的梯度流信息，抑制不相容信息，增强特征表示能力。

网络模型

        MFO-Net的整体结构如图1所示，其基本框架主要包括三个部分：采用CSPDarkNet 53作为特征提取的骨干，特征融合的颈部以及对象分类和定位的头部。通过进一步扩展特征映射并使用FOF模块将其与浅层特征进行融合，增强了自顶向下的特征路径。MLFA和FE模块增强了对空间和通道维度的适应性。引入了一个为小目标检测量身定制的头部，重点关注网络中的低层特征图，使其对小目标更加敏感。

A. FOF Module

        无人机图像中的小物体通常具有较少的像素，其中大部分像素沿物体边界沿着。边界框中的扰动会显著影响交集对并集的度量。然而，从具有较粗空间分辨率的较高级别重复上采样特征会导致不准确和不对称的特征融合。这进一步损害了对象边界的预测，影响了小对象检测的有效性。

        设计了FOF模块，以更有效地融合这些特征，如图2所示。与使用级联层的简单特征融合不同，采用由Fb传达的空间信息来引导和调整Fu，其中Fb和Fu分别指示来自主干的特征和上采样的特征。这是通过采用可变形卷积来处理级联的输入Fu和Fb，获得可学习的偏移作为参考来实现的。可变形卷积通过学习附加的偏移值来调整核采样点，使卷积区域更接近目标的形状边界。这意味着它可以捕捉目标的更精细细节，帮助聚焦并捕捉小目标检测的关键信息。同时，利用Fb作为PConv块的输入，从而能够更有效地利用具有丰富空间细节的低级特征。此外，引入额外的可学习权重w1和w2，以强调不同特征的重要性。每个权重都经过一个简单的处理步骤，如w1所示

网络学习权重w′ 1和w′ 2。σ的值是无关紧要的，通常设置为0.0001，目的是防止数据不稳定。

B. MLFA Module

        无人机图像中的目标往往尺寸较小，缺乏足够的特征，难以准确定位和检测;这些问题会影响小目标检测的准确性和鲁棒性。低层特征包含丰富的位置和局部细节信息。有效地利用低层特征信息可以增强较小目标的定位和检测能力。

        为了解决这些问题，构建了MLFA模块，如图3所示，可以更好地捕获多尺度局部特征信息。首先，MLFA模块的输入通过3 × 3卷积处理，然后将卷积层的输出用作三个分支的输入。在每个分支中，不同大小的卷积核与两个卷积块的级联一起沿着被利用，以捕获更丰富的多尺度局部化特征信息。每个卷积块由1 × K和K × 1条带卷积组成，条带卷积的特点是更轻量级，参数更少。此外，条带卷积可以帮助提取条带状特征。其次，级联操作合并三个分支的输出，并通过1 × 1卷积聚合多尺度局部特征信息。然后，使用带有ReLU激活函数的批量归一化层来提高模型的稳定性和泛化性能。输出作为注意力权重来调整原始特征，并通过元素乘法引起空间注意。通过网络中的MLFA模块对中低层特征进行处理，可以更好地增强低层特征的表示能力。

C. FE Module

        小目标携带有限的周围上下文信息。然而，在特征传播过程中通道的变化会导致相关信息的丢失。因此，设计了FE模块，如图4所示。我们在自顶向下的路径中设置FE模块，以增强通道表示能力，实现更好的特征提取。

        FE模块主要由两部分组成：用于提取梯度流信息的卷积部分和用于捕获通道显著信息的通道注意块。主分支使用CSPNet的分裂操作从输入获得Fi，i ∈ {1，2}，并且F1用作梯度流分支的输入。梯度模块是BottleNeck模块，它是一个残差模块，通过并行梯度流分支获得更丰富的梯度流信息。受NAM [11]的启发，我们在融合两个分支的特征后引入了通道注意块，进一步抑制了不重要的通道信息。采用批量归一化的比例因子来度量通道的方差，指示通道的重要性

其中γ和β分别是可训练的仿射变换尺度和偏移参数。是一个大于零的常数。µB和σB分别为小批的平均值和标准差。CAB可以计算如下：