FEN Self-Supervised Feature Enhancement Networks for Small Object Detection in Noisy Images

       如果图像包含大量噪声，小目标检测变得更加困难，这在真实环境中很常见。主要原因是 小物体上的视觉信噪比非常低，难以提取丰富的特征进行检测。

       我们提出了一个以自监督方式训练的特征增强网络（FEN）。FEN 从输入图像中获取 其值被随机擦除的 特征，然后通过 聚合相邻值 来预测擦除的值。该方案使 FEN 能够使用周围值改进特征，这对于在测试阶段 从小目标区域 丰富特征 有很大的影响。

       为了验证对噪声图像中小目标检测的鲁棒性，采用航空图像中的车辆检测 作为主要目标任务。

       与传统的物体检测相比，小物体检测任务具有几个不同的特征。例如，无人机或飞机拍摄的航拍图像覆盖范围很广，因此，图像中物体的大小比传统图像要小得多。此外，随着目标检测数据集的类类别变得更加细分，小目标出现的频率也更高。小物体的基于深度 CNN 的特征很容易消失或与周围环境融合，从而难以正确定位物体区域。

       与大物体相比，小物体更容易受到噪音的影响。

       

       有两类方法可以提高小目标检测的性能。第一类是通过 数据增强 来增加小目标的训练样本。这些方法从数据集中的图像中切割出小物体的区域，然后将它们放入其他背景图像中以生成合成数据。第二种方法是 改进网络流程或训练策略。

       FEN 的主要优势是 以自监督的方式 提高从噪声图像中提取的特征的判别能力，这不需要任何人工注释。此外，我们的方法是一种通用技术，可以与各种现成的目标检测器无缝结合。

       Contributions：i）提出了一个 特征增强网络（FEN）来应对小目标检测中的噪声。 

                               ii）引入了一种简单而有效的 自监督方法 来训练没有任何人工标签的 FEN，可以与各种现成的目标检测器无缝结合。 

       特征增强网络：在学习了 Θk 之后， FEN 可以在推理步骤中适用于任意大小的特征，而无需裁剪。增强的特征 fk 用作目标检测器以下模块（即 RPN、Head）的输入。

       自监督学习训练FEN： 自监督学习丰富小物体的特征。我们的 FEN 是在特征空间上执行的。

                       软掩码实现：使用 (2) 进行训练的局限性在于，由于二进制掩码 Mk，只能利用 FEN 的 部分预测来更新 Θk。使用soft mask 软掩码使得 FEN 的所有预测都用于更新 Θk，从而实现有效的训练。

       

       两阶段学习目标检测器：FEN 基于自监督学习，因此可以独立训练。然而，为了与目标检测器无缝结合，我们提出了一种两阶段学习方法，交替更新 目标检测器的权重和 FEN 的 Θk。固定的 FEN 增强了基于 CNN 的有噪声的深度特征，然后将它们传递到目标检测器的以下模块（即 RPN、Head）。之后，目标检测器的权重是固定的，FEN 的 Θk 通过自监督学习更新，如第 II-B 节所述。

       FEN 的最终目标是 通过增强来自 噪声输入的特征 来提高目标检测模型的性能。

       DOTA数据集：与现有的两种方法不同，FEN是在特征空间中执行的，并且 表现出更大的性能改进，主要是在应用于高层特征时。当所有较低层的 FEN 全部使用时，性能略有下降。

       FEN 的性能可能会受到输入图像中的 噪声水平和类型 的影响。与基线结果相比，噪声本身的存在会降低性能，但我们提出的 FEN  在所有情况下都能持续提高检测性能。 FEN 对自然噪声也具有鲁棒性。

       较高的 τ 使我们的自监督学习问题更加困难。当 τ = 0.5 时检测性能最佳。

       FEN 也可以与这些检测器很好地结合，并不断提高噪声图像中的小物体检测性能。因此，所提出的 FEN 是一种通用技术，可用于各种目标检测器。

       与现有的图像级去噪方法相比，我们的方法在小物体中表现出更高的激活，并且可以很好地找到边界框。当待检测物体的尺寸较小时，处理噪声是一个关键问题。

       Conclusion：提出了一种特征增强网络（FEN）来提高小物体检测的性能，尤其是在噪声图像中。与现有的小目标检测不同，我们研究了图像噪声对小目标检测性能下降的影响。FEN 通过自监督学习进行训练，可以处理各种噪声类型，并且可以与各种检测器无缝结合。我们相信 FEN 可以与其他识别任务以及大多数现有的目标检测器集成。