小目标检测方法——基于距离相似度SimD的标签分配策略（附论文及源码）

导读

在计算机视觉中，小目标检测由于信息不足而具有挑战性。对此，本文提出相似距离（SimD）策略，提升检测准确性。SimD自适应学习超参数，适应不同数据集和物体大小，在多个数据集上表现出色，特别是在AI-TOD数据集上显著提高精度，且无需设置超参数！

论文标题：Similarity Distance-Based Label Assignment for Tiny Object Detection
论文链接：https://arxiv.org/pdf/2407.02394v3
代码链接：https://github.com/cszzshi/SimD

摘要

小物体检测正成为计算机视觉中最具挑战性的任务之一，这是因为物体尺寸有限以及信息不足。标签分配策略是影响物体检测准确性的一个关键因素。尽管存在一些针对小物体有效的标签分配策略，但大多数策略侧重于降低对边界框的敏感度以增加正样本的数量，并且具有一些需要设置的固定超参数。然而，更多的正样本并不一定带来更好的检测结果；实际上，过多的正样本可能导致更多的假阳性。在本文中，我们介绍了一种简单而有效的策略，名为相似距离（SimD），用于评估边界框之间的相似度。该提出的策略不仅考虑了位置和形状的相似性，而且还能够自适应地学习超参数，确保它可以适应不同的数据集及数据集中各种大小的物体。我们的方法可以轻松应用于常见的基于锚点的检测器中，用来替代交并比（IoU）进行标签分配和非极大值抑制（NMS）。在四个主流的小型物体检测数据集上的大量实验表明了我们方法的优越性能，特别是在 AI-TOD 数据集上，对于非常小型的目标，我们的方法分别高出最先进的竞争对手 1.8 个 AP 点和 4.1 个 AP 点。

现状与相关工作

在最近的一项关于小型物体检测的综述中，小型物体检测面临的两大挑战是信息损失和正样本的缺乏。有许多可能的方法可以提高小型物体检测的准确性，如特征融合、数据增强和超分辨率处理。因为足够多的高质量正样本对于物体检测至关重要，因此标签分配策略是影响最终结果的核心因素。物体越小，交并比（IoU）指标的敏感度越高，这是无法像标记常规物体那样标记同样多的正样本的主要原因。图1展示了传统基于锚点与无锚点的指标以及我们提出的SimD指标之间的简单比较。
目前关于小型物体标签分配策略的研究主要集中在减少对边界框大小的敏感度。Xu等人提出使用点距离（DotD）作为分配指标来代替IoU。之后，提出了NWD和RFLA尝试将真实值和锚点建模为高斯分布，然后使用这两个高斯分布之间的距离来评估两个边界框。事实上，这些方法已经在标签分配方面取得了相当大的进步，但也存在一些未考虑的问题。

首先，大多数这些优化的方法专注于减少对边界框大小的敏感度，从而增加正样本的数量。然而，过多的正样本可能会对物体检测器产生负面影响，导致许多假阳性。

其次，这些评价指标的本质是衡量两个边界框之间的相似度。对于基于锚点的方法，考虑的是真实值与锚点之间的相似性。这种相似性包括两个方面：形状和位置。然而，有些方法只考虑边界框的位置，其他方法同时考虑形状和位置，但是它们也有一个需要选择的超参数。

最后，虽然小型物体检测数据集中物体的大小倾向于相当接近，但不同物体之间仍然存在尺度差异。例如，AI-TOD数据集中物体的大小范围从2到64像素。而在VisDrone2019数据集中，这种差异更为明显，因为它包含了小型和常规大小的物体。实际上，物体越小，获得正样本就越困难。但是，大多数现有方法可能较少关注这个问题。

近年来，物体检测技术在各行各业的应用日益广泛。这项技术带来了极大的便利。例如，可以通过识别遥感图像中的地面物体来迅速开展救援行动。随着深度学习技术的发展，特别是引入了ResNet之后，检测的准确性和速度有了显著提高。

通用的物体检测器可以分为两类：单阶段检测器和双阶段检测器。双阶段检测器首先生成一系列候选区域，然后确定这些区域中物体的位置和类别。这类算法包括R-CNN、Fast R-CNN以及Faster R-CNN。单阶段检测器的结构更为简单，可以直接从输入图像输出物体的坐标和类别。一些经典的单阶段检测器包括YOLO和SSD。

A. 微小物体检测
尽管深度学习技术在物体检测领域取得了重大进展，但对于微小物体的检测精度会急剧下降。通常将尺寸小于某个阈值的物体定义为小物体。例如，在Microsoft COCO 数据集中，如果物体的面积小于等于1024，则认为它是小物体。然而，在很多情况下，感兴趣的物体实际上比上述定义的小得多。例如，在AI-TOD数据集中，物体的平均边长仅为12.8像素，远小于其他数据集中的尺寸。
由于感兴趣物体极其微小，微小物体检测面临三个主要挑战。首先，大多数物体检测器采用下采样来进行特征提取，这会导致微小物体的信息大量丢失。其次，由于包含的有效信息有限，小物体很容易受到噪声干扰。最后，物体越小，对边界框的变化就越敏感。因此，如果我们使用传统的标签分配指标（如IoU、GIoU、DIoU和CIoU）来进行物体检测，那么为微小物体获得的正样本数量将会非常少。
为了提高微小物体检测的准确性和效率，已经提出了多种方法。例如，从数据增强的角度来看，Kisantal等人提出了通过复制微小物体、随机变换副本并将其粘贴到图像的新位置来增加训练样本数量的方法。

B. 标签分配策略
标签分配策略在物体检测中扮演着重要角色。根据每个标签严格为负或严格为正的原则，这些策略可以分为硬标签分配策略和软标签分配策略。在软标签分配策略中，根据计算结果为不同的样本设置不同的权重，例如GFL 、VFL、TOOD 和DW。硬标签分配策略还可以进一步分为静态和动态策略，这取决于指定正负样本的阈值是否固定。静态标签分配策略包括基于IoU和DotD指标的策略以及RFLA。动态标签分配策略的例子包括ATSS、PAA、OTA和DSLA。从另一个角度来看，标签分配策略可以分为预测基和非预测基策略。预测基方法根据真实标签与预测边界框之间的关系来给样本分配正/负标签，而非预测基方法则仅根据锚点或其他现有信息来分配标签。

C. 针对微小物体的标签分配策略
尽管针对物体检测的标签分配策略已有许多研究，但大多数此类策略都是为传统数据集设计的，专门针对微小物体的设计较少。当直接将这些传统的标签分配策略用于微小物体检测时，它们的准确性会显著下降。迄今为止，专门为微小物体设计的标签分配策略及指标主要包括S3FD、DotD、NWDRKA和RFLA。
在S3FD中，首先降低阈值（从0.5降至0.35），以获得更多的针对真实标签的正样本；随后进一步将阈值降至0.1，以获取那些未被初次阈值降低处理的真实标签的正样本。然而，S3FD仍然使用传统的IoU指标来计算真实标签与锚点之间的相似性。为了克服IoU指标的弱点，引入了新颖的DotD公式，以减少对边界框尺寸的敏感性。基于此指标，可以为真实标签获取更多的正样本。在NWD-RKA中，引入了归一化的Wasserstein距离作为IoU的替代，并采用基于排名的策略来将前k个样本标记为正样本。RFLA则从感受野的角度探索真实标签与锚点之间的关系，在此基础上，将真实标签和锚点建模为高斯分布。然后，基于Kullback-Leibler散度（KLD）计算这两个高斯分布之间的距离，以此代替IoU指标。

SimD

A. 边界框间的相似性距离
相似性距离定义如下：

----------------------------------------------------------具体参数解释参考论文中的内容------------------------------------------------------------------

B. 基于相似性距离的检测器
本节定义的新型SimD度量能够很好地反映两个边界框之间的关系，并且易于计算。因此，它可以替代IoU（交并比）应用于需要计算两个边界框相似性的场景。
基于SimD的标签分配 在传统的目标检测器中，例如Faster R-CNN、Cascade R-CNN以及DetectoRS，区域提议网络（RPN）和R-CNN模型的标签分配策略通常采用MaxIoUAssigner。MaxIoUAssigner考虑了三个阈值：正样本阈值、负样本阈值和最小正样本阈值。对于那些与真实标签的IoU高于正样本阈值的锚点被视为正样本；IoU低于负样本阈值的锚点视为负样本；而IoU介于正样本阈值和负样本阈值之间的锚点则被忽略。针对小目标检测，Xu等人引入了RKA和HLA标签分配策略，这些策略不使用固定的阈值来划分正负样本。在RKA策略中，简单地选取与每个真实标签关联的前k个锚点作为正样本，这种策略能够增加正样本的数量，因为正样本的分配不受正样本阈值的限制。然而，引入过多低质量的正样本可能会导致检测精度下降。

本文遵循传统的MaxIoUAssigner策略，并简单地使用SimD替代IoU。正样本阈值、负样本阈值和最小正样本阈值分别设置为0.7、0.3和0.3。我们的标签分配策略命名为MaxSimDAssigner。

基于SimD的非极大抑制 非极大抑制（NMS）是后处理中最关键的组成部分之一。其目的是通过仅保留最佳检测结果来消除重复检测的预测边界框。在传统的NMS过程中，首先计算得分最高的边界框与其他所有边界框之间的IoU。然后，IoU高于一定阈值的边界框将被移除。考虑到SimD的优点，我们可以简单地将其用于NMS中代替传统的IoU度量。

总结

在本文中，我们指出大多数现有的方法可能无法自动适应不同尺寸的对象，并且包含了一些需要选择的超参数。为此，我们提出了一种新的评估指标，名为相似距离（SimD），它不仅考虑了位置和形状的相似性，而且可以自动适应不同的数据集及数据集中不同尺寸的对象。此外，我们的公式中没有超参数。最后，我们在四个经典的微小目标检测数据集上进行了广泛的实验，我们的方法取得了最先进的成果。尽管我们提出的SimD指标具有自适应性，但它仍然基于具有固定阈值的现有标签分配策略。在未来，我们计划进一步提高微小目标检测中标签分配的有效性。

以下文章来源于微信公众号：AI公园
作者：ronghuaiyang
链接：https://mp.weixin.qq.com/s/tR4APSueVqpSmo7TaDkwZw
本文仅用于学术分享，如有侵权，请联系后台作删文处理