SRTOD——F

link

Abstract

微小目标检测是目标检测领域的关键问题之一。大多数通用检测器的性能在微小目标检测任务中显著下降。主要的挑战在于如何提取微小物体的有效特征。现有的方法通常是基于生成的特征增强，这种方法受到虚假纹理和伪影的严重影响，难以使微小物体的特征清晰可见，便于检测。
作者提出了一种自重构微小目标检测(SR-TOD)框架，有效缓解了信息丢失问题。作者首次在检测模型中引入了自重构机制，并发现了自重构机制与微小目标之间的强相关性。
具体地说，作者在检测器的颈部之间施加一个重建头，构建重建图像与输入的差分图，显示出对微小物体的高灵敏度。这启发作者在差分图的引导下增强微小物体的弱表征。因此，提高了探测器对微小物体的可见性。在此基础上，作者进一步开发了差分图引导特征增强(DGFE)模块，使微小特征表示更加清晰。此外，作者进一步提出了一个新的多实例反无人机数据集，该数据集被称为droneswarming数据集，它包含了大量迄今为止平均尺寸最小的微型无人机。在droneswarm数据集和其他数据集上进行的大量实验证明了该方法的有效性

Introduction

最重要的挑战来自微小对象的信息丢失问题。主流的检测架构采用骨干网络，如ResNet等[15,20,50]，用于特征提取，这些框架经常实施降采样操作，旨在消除噪声激活和降低特征地图的空间分辨率，这一过程不可避免地导致微小物体的信息丢失。
此外，由于微小物体本身尺寸的局限性和信息含量的稀缺性，在特征提取阶段会带来大量的信息损失。这种对物体表示的劣化严重阻碍了检测头识别和区分微小物体的能力。因此，微小物体对探测器来说变得难以辨认。特别是对于“极小”物体的微弱信号几乎被完全抹去，这使得探测器很难对其进行定位和识别。

如图1所示，特征热图显示了检测模型对微型无人机的激活信号，这些信号对于微小物体来说往往很弱。例如，左下角的微小物体几乎消失了，影响了检测性能。这表明许多微小的物体对探测器来说是不够可见的。因此，在微小目标检测任务中，通用检测器的性能显著下降[49,54]。

现有的许多方法[1 - 3,26,34,36]通常使用超分辨率架构的生成方法来缓解由于信息丢失而导致的微小对象的低质量表示问题。这些方法通常将速率生成对抗网络[19]纳入目标检测框架，构建高分辨率和低分辨率样本对，使生成器能够学习恢复微小物体的扭曲结构，旨在增强低质量微小物体的特征。然而，这些方法通常需要大量的中型和大型样本，这对在微弱信号的微小物体上执行超分辨率提出了重大挑战。此外，这些方法容易产生虚假纹理和伪影，降低了检测性能[13]。值得注意的是，超分辨率架构带来了大量的计算开销，使端到端优化变得复杂[10]。

与复杂的超分辨率架构下效率低下的特征增强相比，骨干网中丢失信息的恢复是一种更直观、更合理的策略。本文首次在目标检测框架中引入了一种简单有效的图像自重建机制。检测模型提取的特征映射通过重构头进行恢复，重构头在像素级受均方误差约束。需要注意的是，图像重建是一项位于低层次视觉域的任务，对像素变化非常敏感[6]。
由于作者从检测模型中重建输入图像，因此难以恢复的图像区域可能对应于骨干网络特征提取过程中结构和纹理信息严重丢失的区域，特别是微小物体。利用重建图像与原始图像之间的差异，作者可以精确地找出经历了重大信息丢失的区域，从而为检测微小物体提供潜在的先验知识。

因此，作者从自重构图像中减去原始图像，构建差分图，如图1所示。作者首先发现自重构差分图与微小物体之间存在很强的相关性。在图1中几乎被消除的“非常微小”的物体也可以在差值图中清晰地显示出来。图像中大多数微小物体在差异图中都有明显的激活。此外，差异图还保留了微小物体的主要结构。作者认为，差异图显示了探测器对感兴趣区域的像素级识别，以及微小物体的潜在位置和结构。总的来说，差分图使得微弱信号的微小物体更容易被发现。
First—如何进行重构的，真的有这么完美嘛？肯定没有

在这一发现的基础上，作者进一步将差异图中的先验信息整合到目标检测模型中。作者开发了简单有效的差分图引导特征增强模块，该模块通过沿通道维度重新加权差分图来计算元素明智的注意力矩阵，从而对微小物体进行特征增强。因此，通过将重建损失转换为专门针对微小物体的约束，作者增强了模型检测此类物体的能力，使微小物体对检测器更清晰。

此外，作者收集了一个新的反无人机数据集，名为droneswarming，它是一个典型的在各种复杂背景和光照条件下的微小目标检测场景。作者的“无人机温暖”是反无人机中平均尺寸最小的(约7.9像素)。在作者的数据集和另外两个数据集上的实验表明，作者的方法优于其他竞争方法。

main contribution

作者提出了一种自重构微小目标检测框架，首次揭示了差分图与微小目标之间的鲁棒关联，从而提供了微小目标位置和结构的先验信息。作者有效地将微小物体通常丢失的信息转化为可操作的预先指导
作者设计了差分图引导特征增强(DGFE)模块，该模块改进了微小物体的特征表示，使其更清晰。DGFE模块可以方便灵活地集成到一般探测器中，有效提高微小目标检测的性能。
作者提出了一个新的反无人机微小目标检测数据集，命名为droneswarm，它具有目前最小的平均目标尺寸。在作者的数据集和另外两个具有大量微小对象的数据集上进行了广泛的实验，验证了作者对竞争方法的有效性。

Related Work

Tiny Object Detection

通用检测器在检测大中型物体方面表现良好，但在检测微小物体方面仍面临重大挑战。近年来，微小目标检测的研究主要集中在数据增强、尺度感知、上下文建模、特征模仿和标签分配等方面[10]

数据增强

Krisantal等[23]通过复制粘贴小对象来增加样本数量。DS-GAN[4]设计了一种新的数据增强管道，用于生成小对象的高质量合成数据。

尺度感知

Lin[28]等人利用特征层次金字塔和特征融合提出了目前最流行的多尺度网络特征金字塔网络。Singh等人[43]设计了图像金字塔的尺度归一化(SNIP)来选择一些实例进行训练。PANet[31]通过双向路径丰富了特征层次，并通过精确的定位信号增强了更深层次的特征。NAS-FPN[16]、Bi-FPN[46]和递归-FPN[35]是在FPN的基础上进一步发展起来的。Gong等[18]通过设置融合因子来调节FPN相邻层之间的耦合，优化特征融合，提高模型性能。Yang等[52]设计了级联稀疏查询机制，在保持快速推理速度的同时，有效利用高分辨率特征来增强小目标的检测性能。

上下文建模

Chen等人[8]利用包含候选patch的上下文区域表示进行后续识别。SINet[21]引入了一个上下文感知的RoI池层来维护上下文信息。

特征模仿

许多方法[1,2,26]利用生成对抗网络在小对象上执行超分辨率。Noh等人[34]通过扩张卷积缓解了高分辨率特征和低分辨率特征接受野之间的不匹配。Deng等人[13]提出了一种特征纹理传递模块来扩展特征金字塔，使新的特征层能够包含更详细的小物体信息

标签分配

ATSS[56]根据阳性和阴性样本的统计特征自适应调整。Xu等人[51]提出了一种简单而有效的策略，称为基于接受场的标签分配(RFLA)，以缓解基于锚点和无锚点的检测器中的尺度-样本不平衡问题。

许多小目标检测方法都没有关注信息丢失这一关键问题。特征模仿方法试图通过生成来缓解这一问题，但往往会制造虚假的纹理和伪影[10,13]。相反，作者引入了一种图像自重建机制来识别重要信息丢失的区域，并利用这种先验知识来提高小目标检测性能。

Anti-UAV Dataset

无人机由于体积小、成本低等特点，在检查、监视、军事等领域得到了广泛的应用。然而，非法无人机飞行带来了许多潜在风险并威胁到公共安全，因此反无人机措施成为一项重要任务。由于无人机实际上体积很小，而且经常在中高海拔飞行，因此在相机拍摄的图像中，它们往往显得非常小。因此，反无人机技术非常适合微小目标检测的应用。据作者所知，目前该领域有三个公开可用的可见光反无人机数据集。

MAV-VID

该数据集由64个视频序列组成，其中包含从多个视点捕获的单个无人机，目标主要位于图像的中心区域。无人机的规模相对较大，平均尺寸约为166像素。

Drone-vs-Bird

该数据集由77个视频序列组成，用于区分无人机和鸟类目标。数据集中无人机的平均尺寸约为28像素。

DUT Anti-UAV

数据集分为两个子集:检测和跟踪。该数据集中的大多数图像包含单个对象，几乎没有非常小的对象。

现有的反无人机数据集通常每个图像单独包含一个无人机实例，很少有微小物体，几乎没有非常微小的物体。这与反无人机措施的实际场景不匹配，限制了反无人机任务中微小目标检测的发展和应用。为此，作者引入了迄今为止最小平均目标尺寸的第一个多实例反无人机数据集，droneswarming。

Method

Overall Architecture

本文针对骨干网特征提取过程中信息丢失严重的主要挑战，提出了一种基于图像自重建机制的微小目标检测框架，如图2所示。

最初，图像被送入骨干网络，骨干网络从该输入中提取特征，并将特征映射传递给颈部模块(通常为FPN[28])，以创建从P2到P5的多尺度特征金字塔。根据现有探测器的结构，将微小目标检测任务指定为P2。因此，自我重建机制与探测器的接口只通过P2发生。作者将P2输入重构头，重建头生成的图像在尺寸上与原始输入一致。通过将重建图像与原始图像相减，取绝对值，并在三个颜色通道上取平均值，得到差分图。作者将差分图和P2都输入到差分图引导特征增强(DGFE)模块中，DGFE模块基于差分图的先验知识增强P2中的特定微小目标特征，得到P2 '。这个增强的特征图P2 '取代了原来的P2作为特征金字塔的底层，随后被输入到检测头中。请注意，一些单级检测器[29]完全依赖于低分辨率的特征图P3，因此作者的框架也可以使用P3进行图像重建。由于特征金字塔网络(Feature Pyramid Networks, FPN)[28]及其变体被广泛采用作为颈部模块，作者的框架很容易与大多数当代检测模型集成。

Difference Map

骨干网特征提取固有的降采样过程不可避免地会造成目标信息的丢失。由于微小物体的尺寸有限，这种损失尤其严重。在这种情况下，微小物体的微弱信号几乎被消除，使得检测头很难从这种低质量的表示中进行预测[10]。针对这一问题，作者在FPN框架中重新考虑了不同层次特征映射的属性。考虑到高级别、低分辨率特征具有丰富的语义内容，而低级别、高分辨率特征具有更多的局部细节和位置信息，作者倾向于使用低级别特征图进行图像重建。
通过计算原始图像和重建图像之间的均方误差(MSE)损失，实现重建头参数的优化。

Difference Map Guided Feature Enhancement

在通过自重建机制创建差异图之后，一个关键的挑战是有效利用差异图的先验信息来增强微小目标的检测能力。考虑到差分图代表了微小物体的潜在位置和结构信息，作者设计了一个简单的即插即用模块，称为差分图引导特征增强(DGFE)。DGFE模块从差分图中计算出一个逐元素的注意矩阵，记为M∈RC×H×W，目的是对P2∈RC×H×W内的微小物体进行有针对性的特征增强，如图2所示

重建图像和原始图像之间的固有差异导致几乎整个差异图的激活程度不同。为了滤除大部分噪声信号，使差分图更加清晰，作者构造了一个二值差分图Db∈R1×4H×4W。为此，作者设置一个可学习的阈值。给定一个与原始图像大小相同的差分图D∈R1×4H×4W，并考虑梯度的反向传播，则图2中的filter (D)∈R1×H×W可以表示为
Sign表示Sign函数，Resize表示将Db调整为与P2相同的大小。具体来说，Resize(Db)+ 1可以保留原来存在于特征图P2中的有价值的信息，确保它不受Db中值为0的区域的影响。

由于差分图只包含空间信息，需要利用广播来沿着信道维度重新加权，这有助于保持特征的多样性。给定特征映射P2∈RC×H×W，权重Reweighting(P2)∈RC×1×1可以计算为

AvgP ool表示沿空间维度的平均池化，MaxP ool表示最大池化。MLP包括两个完全连接的层和一个ReLU功能。因此，DGFE模块可表示为

M∈RC×H×W表示元素关注矩阵，P2′∈RC×H×W表示针对微小对象进行了特别增强的feature map

DroneSwarms Dataset

通常情况下，无人机在远离监视设备的地方操作，位于相当远的距离和高度，导致无人机的目标非常小，缺乏清晰度。因此，反无人机场景是适合微小目标检测的重要应用场景。此外，目前的微小目标检测数据集通常包含许多大中型目标，平均目标尺寸均在12.8像素以上[10,51]。为了构建一个几乎完全由大量微小物体组成的数据集，作者提出了一个平均尺寸最小的反无人机目标检测数据集，命名为droneswarm。droneswarm由9,109幅图像和242,218个注释的无人机实例组成，其中2,532个用于测试，6,577个用于训练。平均每个图像包含26.59个无人机实例。图片尺寸为1920 × 1080，手工标注，精度高。无人机温暖包括各种户外环境，如城市环境，山区地形和天空等。与现有的反无人机数据集不同，droneswarm包含241249个32像素及以下的微小物体，约占99.60%，平均尺寸仅为7.9像素左右。无人机分散在整个图像中。因此，droneswarm可以用于综合评估微小物体检测方法。

Experiment