ADAS-GPM

link

Abstract

微小目标检测最近的一个趋势是引入更细粒度的标签分配策略，为分类和回归提供有希望的监督信息。然而，以往大多数基于IoU (intersection - overunion)的方法存在两个主要缺陷，包括:(1)IoU对微小目标边界盒偏差的容忍度较低;(2)样本间和样本内失衡导致的优化指导不足。作者提出了两种新的解决方案来解决这些问题：基于高斯概率分布的模糊相似度度量（GPM）和自适应动态锚点挖掘策略（ADAS）。GPM旨在解决小边界框与预设锚点之间不准确的相似度测量问题，为标签分配提供更准确的基础。ADAS采用动态调整的策略进行标签分配，以解决正负样本分布偏差的问题，确保标签分配与图像中物体的分布一致。

在AI-TODv2和其他微小目标检测数据集上进行了大量实验，以评估所提出的ADAS- GPM方法的性能。结果表明，在具有挑战性的AI-TODv2基准测试中，将ADAS-GPM集成到基于锚点的目标检测器中，其性能明显优于最先进的方法。所提出的ADAS-GPM方法取得了良好的结果，充分证明了该方法的有效性和潜力。

Introduction

另一方面，TOD提出了具体的挑战，包括由于特征提取中的子采样操作而导致的信息丢失，难以检测微小物体的噪声特征表示，以及对微小物体的边界盒扰动的低容忍度。遥感中的远程成像由于提供较少的边界框特征表示信息而增加了背景干扰，从而加剧了这些挑战。此外，航空图像通常信噪比较差，更容易受到图像噪声污染，导致图像模糊，细节丢失。这种低信噪比尤其不利于从微小物体中提取特征。与检测适当大小的物体相比，检测微小物体会带来更大的困难，如上所述，即使是最先进的探测器在检测这两种不同大小的物体时也表现出显著的差异。
使用IoU作为微锚分配的标准存在两个主要缺点:1)对微小目标定位偏差高度敏感。具体来说，对于微小的物体，轻微的偏差会导致IoU急剧下降，甚至下降到0。具体来说，对于微小尺寸的对象，像素的轻微偏差可能导致IoU值严重下降甚至为零，从而显着增加了采样正/负锚帧的难度。这种不稳定的变化极大地增加了分配策略中正/负锚点抽样的难度。

如图1所示，对于一个微小的物体，边界框内沿对角线方向稍有3个像素的偏差，就会导致IoU从100%显著下降到23.0%。同样的偏差对中型和大型对象的IoU值的影响更平滑，分别为66.0%和88.0%。这说明IoU对尺寸较小的物体更加敏感，并且随着物体尺寸的减小，IoU的变化更加剧烈。

2)当两个边界框不相交时，IoU得分为0，当它们完全重叠时，IoU得分为1。如[86]所述，iou并不能很好地反映两者的相似性。即使边界框之间的IoU值相同，它们也可能对应各种重叠情况[63]（如果这么说的话那些中心点相似性度量又何尝不是呢）。然而，在TOD中，多个对象聚在一起是很常见的，采用IoU来划分正锚和负锚是不可行的。当最高维度特征图上的预定义锚包含IoU无法区分的多个密集微小对象时，这尤其成问题。

通常，静态锚点分配策略无法解释不同大小、形状和遮挡水平下物体外观的显著变化。手工制作的分配可能导致正锚和负锚的不平衡划分，主要是在处理细长、拥挤和微小的对象时。上述观察结果表明，基于iou的静态锚分配可能会阻碍在微小对象和预定义锚之间建立适当的关系。

作者讨论了基于iou的静态锚分配中的两种不平衡分布。
1)不同大小的对象被分配不同数量的阳性样本，导致样本内不平衡。由于IoU对微小物体的敏感性，训练中微小物体的阳性样本数通常比大物体的少得多。在分类和回归过程中，样本内不平衡可能导致模型倾向于预测较大的目标，这可能会降低检测性能。
2)与微小物体匹配的阳性样本数量少，导致样本间不平衡。
第一点是强调在每个训练批次或样本内部的阳性样本不平衡，第二点则是强调在整个数据集中的阳性样本不平衡

如图3(b)所示，当使用MaxIoU策略为物体分配正锚和负锚时，两个微小物体(车辆和船舶)都没有匹配正锚，因为它们与锚之间的IoU没有达到预定义的阈值。这种现象在为微小物体分配锚点时很常见，这导致在训练时期，正锚点的数量远远少于负锚点的数量。不幸的是，这些问题无法通过基于ou的分配策略得到缓解，从而加剧了训练过程中正负样本不平衡的问题。

基于此，本文设计了基于高斯概率分布的模糊相似度度量(GPM)，并提出了一种自适应动态锚点挖掘策略(ADAS)。将以上两部分(ADAS和GPM)结合起来，得到一种新的锚点挖掘策略，简称ADAS-GPM。它是一种有效、灵活的TOD锚点分配策略，解决了样本间和样本内的不平衡问题。将ADAS-GPM与基于锚点的目标检测算法相结合，进一步提高了航拍图像TOD的性能。

为了计算盒之间的相似性，将水平边界盒转换为二维高斯分布。作者利用KFIoU[78]中使用的卡尔曼滤波方法来计算二维高斯分布之间的重叠面积。将Wasserstein距离、Bhattacharyya距离[4]、Kullback - Leibler散度[38]等各种统计距离度量相结合，对度量进行优化，最后将新度量(GPM)与质量感知锚点挖掘方法(ADAS)相结合，为每个锚点动态分配正负锚点。GPM度量解决了IoU在两个边界框不重叠或包含在另一个边界框内时无法准确度量两个边界框相似性的问题。ADAS有效地解决了微小目标匹配中的样本间和样本内不平衡问题，使网络能够同时考虑不同尺度目标的回归。

main contribution

1. 提出了一种新的基于高斯概率分布的模糊相似度度量(GPM)来解决小边界框与预定义锚点之间匹配不良的困难。与检测器中使用的IoU相比[60]，作者的方法达到了更高的精度。
2. 提出了自适应动态锚点挖掘策略(ADAS)，以确保为微小目标分配足够的高质量正锚点。缓解了样本间和样本内TOD不平衡的问题;因此，微小物体预测的整体质量变得更加准确和可靠。
3. 基于广泛的实验，在AI-TODv2数据集上实现了与最先进方法相当的性能[72]。就像即插即用一样，作者的方法很好地应用于基于锚点的探测器。

Related work

特征融合

CNN架构的浅层通常侧重于描述几何细节，而缺乏抽象的语义信息。相比之下，深层则表现出完全相反的特征。在当前的检测范式中，小物体通常被分配到最低的金字塔特征，导致冗余表示增加[18]。整合不同层次的特征可以提供更精确的位置信息和鲁棒的语义上下文，从而提高微小物体检测的准确性。FS-SSD[45]采用平均池化的不同缩放分支形成特征金字塔，调整原有的特征融合分支进行小目标检测。BIFPN[13]将浅层特征与双向跨尺度层相结合，获得丰富的空间信息，有助于中小目标的检测。ABFPN[82]采用亚光卷积增强多尺度特征融合，进一步提高小目标检测的整体性能。SSPNet[34]指出了不同特征图之间的梯度不一致，使得浅层特征图无法充分利用其信息来检测微小物体。为了解决这个问题，SSPNet为浅层和深层建立了适当的特征共享规则。EFF[32]通过统计方法计算相邻特征层的融合因子，实现了信息从深层向浅层的传递。特征融合的出现在很大程度上弥补了金字塔下层和上层之间的空间和语义差距。

上下文信息和注意力机制

小物体往往与其他物体或背景共变，其中蕴含着丰富的上下文信息。有效地利用环境与小物体以及其他物体之间的关系，有利于微小物体的识别。inside - outside Net[3]引入了跳跃池和空间递归神经网络，分别提取感兴趣区域内外的上下文信息。Hu[35]针对不同的尺度训练了单独的检测器，并以尺度不变的方式对局部上下文信息进行建模，以检测微小的人脸。注意机制[67]在计算机视觉中起着至关重要的作用，在以前的文献中得到了广泛的研究[70,85]，表明了物体检测的巨大潜力。R2-CNN[58]利用全局注意力块从大尺度遥感图像中快速有效地提取小目标特征。

超分辨率

与低分辨率图像相比，高分辨率图像可以揭示物体，尤其是小物体更详细的信息。利用超分辨率网络提高输入图像的分辨率对于丰富微小物体的信息具有重要意义。PGAN[42]指出，感知生成网络缩小了微小物体和大型物体之间的表征差距。TinyFaceGAN[2]为GAN引入了一个重构模块，使其能够增强细节，并从模糊的人脸中生成清晰、高分辨率的人脸。在RemoteSGAN[19]中，将辅助网络集成到GAN中，以提高图像空间分辨率，并实现遥感图像中小目标的高精度。在[6]中，提出了一种针对微小物体的数据增强方法，该方法将GAN的对象生成器与目标分割、图像补绘和图像混合技术相结合。

锚框分配

锚点分配策略是基于锚点的检测器中的一项关键技术。然而，为微小的对象分配合理的、预定义的锚是非常具有挑战性的。ATSS[84]基于统计方法为阳性和阴性样本产生自适应阈值，使其能够自动为每个对象分配正确数量的阳性锚点。OTA[29]在全局上解决锚点分配问题，并将其表述为最优运输问题，旨在以最小的成本分配正锚点。PAA[36]概率分布正锚点和负锚点。损失感知标签分配[31]根据联合损失值将损失较小的锚点定义为正样本，反义锚点定义为负样本。

Method

该论文提出了一种基于高斯概率分布的模糊相似度指标（GPM）和自适应动态锚点挖掘策略（ADAS）来检测微小物体。首先，通过将轴对齐的边界框表示为两个维度的高斯分布，可以更准确地评估微小物体之间的相似度。其次，该论文引入了Kullback-Leibler距离（KLD）与IoU相结合的新评价指标，以提高GPM的准确性。最后，该论文还提出了一个自适应动态锚点挖掘策略（ADAS），该策略可以根据每个真实目标分配适当的正样本数量，并结合静态信息（如IoU、GPM等）设计一个渐进匹配规则，从而避免子优化和过拟合问题。

相比于传统的IoU评价指标，该论文提出的GPM具有更好的一致性反映差异性和更适合测量微小物体之间相似度的特点。同时，通过引入预测分数作为指导灵活分配正负锚点的数量，该论文提出的ADAS可以更好地平衡不同大小的目标所分配的正负样本数量，从而实现更平衡的优化效果。

解决了传统IoU评价指标在测量微小物体之间相似度时存在的灵敏度问题，以及传统锚点挖掘策略中存在的一些不平衡问题，例如不同大小的目标所分配的正负样本数量不均衡等。通过引入GPM和ADAS，该论文提出了一种更准确、更平衡的微小物体检测方法。

Experiment