DotD_F

link

Abstract

随着基于锚点和无锚点检测器的发展，目标检测取得了很大的进步。然而，由于缺乏外观信息，微小物体的检测仍然具有挑战性。在本文中，作者观察到在目标检测中最广泛使用的度量IoU (Intersection over Union)在检测微小目标时对预测边界框与地面真值之间的轻微偏差很敏感。虽然提出了一些新的指标，如GIoU、DIoU和CIoU，但它们在微小目标检测上的性能仍然远远低于预期水平。
在本文中，作者提出了一个简单而有效的用于微小目标检测的新度量，称为点距离(DotD)，其中DotD被定义为两个边界框中心点之间的归一化欧几里德距离，解决了IoU在检测微小物体时对边界盒之间的轻微偏移敏感的问题。在微小目标检测数据集上的大量实验表明，应用DotD后，锚点检测器的性能比基线有了很大的提高。

Introduction

与较大的物体相比，微小物体的像素更少，更容易与背景混淆。因此，普通目标检测器在微小目标检测中表现不佳。
Pyramidbox[27]将高阶语义信息与低阶几何特征相结合。Yu等[34]将网络预训练数据集和检测器学习数据集的尺度分布进行了对齐。
令人惊讶的是，作为各种检测器中使用最广泛的度量，IoU (Intersection / Union)长期以来一直被用作确定正负样本的度量。然而，IoU并不适用于微小物体的检测。

图1(a)为不同围框尺寸的IoU曲线，每条曲线均为固定围框a，水平方向移动围框B绘制。作者可以看到，边界框的尺度越小，曲线下降的速度越快。这一性质意味着边界框之间位置关系的微小变化可能导致微小目标的IoU值发生很大变化，而IoU的使用会降低微小目标检测的性能。

具体来说，IoU在基于锚点的目标检测器中起着重要的作用。基于锚点的检测器首先在图像上预设一定数量的预定义锚点，然后对这些锚点的类别进行分类，并对这些锚点的坐标进行回归，最后输出精细化的锚点作为检测结果[35]。例如，在区域提案网络(RPN)[23]中
首先提出锚点机制，将锚点根据其IoU与ground-truth边界框划分为正样本和负样本。然而，由于IoU对微小物体的敏感性，导致在分配过程中许多正锚被划分为负锚和负锚。此外，在非最大抑制(NMS)模块中，使用IoU来判断预测的边界框是否应该被归类为错误预测。然而，IoU对微小对象的敏感性将使NMS模块将一些真实的边界框预测视为冗余的边界框。因此，IoU不是抑制小尺寸冗余边界框的好判据。

为了解决IoU的缺点，作者提出了一种新的概念，称为点距离(DotD)。DotD定义为边界框两个中心点之间的归一化欧氏距离。

图1(b)为不同边界框尺寸下的DotD曲线。作者可以看到，当B远离A时，DotD值的下降速度比IoU的下降速度要慢，特别是当对象尺寸非常小的时候。因此，在RPN中使用DotD可以为训练基于锚点的检测器提供更多高质量的正态样本。

green–TP，blue–FP，red–FN
图1©和图1(d)为IoU和DotD的检测结果，作者可以看到基于DotD的检测器比基于IoU的检测器可以检测到更多的微小物体。

main contribution

分析了微小物体上不同度量的性质，提出了一种新的度量DotD，克服了传统度量在微小物体上的不足。
作者将DotD应用于RPN和NMS的正负分配模块。实验结果表明，本文提出的DotD算法在基线上取得了显著的改进，在AI-TOD数据集上得到了最先进的结果。

Related Work

Tiny Object Detection

Multi-scale Feature Learning

图像金字塔是一种经典的尺度变换方法，对原始图像进行上采样或下采样，得到一系列不同大小的图像，构建不同的尺度空间，提高微小目标的检测性能。此外，特征金字塔网络(Feature Pyramid Network, FPN)[16]结合不同特征层之间的特征信息，可以在不引入太多额外开销的情况下提高微小目标检测性能。DMNet[12]生成密度图，并根据密度强度学习尺度信息，对有物体的区域进行裁剪，然后将裁剪后的图像调整为更大的尺寸进行训练。

Context-based Detection

背景信息在微小目标检测中起着至关重要的作用。如Hu等人[8]提出关系网络，利用外观和几何特征建立对象之间的关联模型，在一定程度上提高了微小对象的检测性能。Pyramid-box[27]采用半监督方法监督高阶语义特征学习，将高阶语义信息与低阶几何特征相结合，提高微小人脸检测的准确率。为了提高微小物体的检测精度，Chen等人[3]使用了与RPN产生的提议补丁并行的上下文补丁，并增强了R-CNN。

Designing Better Training Strategy

简单而有效的方法是在定义RPN的阳性和阴性样本时降低IoU的阈值。它可以使匹配更容易，但同时也引入了一些低质量的锚点。此外，Zhang等人[35]提出了一种自适应训练样本选择(ATSS)策略，根据对象的统计特征自动选择正样本和负样本。[10]中的工作提出了一种锚点分配策略，该策略以概率方式自适应地将锚点分为正样本和负样本。此外，Singh等[26]提出了尺度归一化方法SNIP，该方法选择性地训练一定尺度范围内的对象。SNIP在一定程度上解决了对象大小急剧变化导致网络性能下降的问题。此外，Yu等[34]提出Scale Match，对网络预训练数据集的尺度分布和检测器学习数据集的尺度分布进行对齐。

本文提出的方法利用微框中心点之间的距离约束了正、负锚点的选择，提高了NMS的质量，全面提高了基于锚点的微目标探测器的质量。

Metrics in Object Detection

作为物体检测中应用最广泛的度量，IoU在评估两个边界框之间的位置关系时存在局限性。准确地说，如果两个边界框之间没有重叠，IoU将始终等于零，它不再能够反映两个边界框之间的距离。因此，建立了一些新的度量标准。在IoU的基础上，通过两个边界框的最小闭合权值相加，引入GIoU[24]。此外，Zheng等人引入基于IoU的两个边界框之间的中心点距离和最小闭包的对角线长度来构造DIoU[36]，并基于DIoU考虑框的宽度和高度形成CIoU[36]。然而，一方面，这些改进本质上是对借据的微调。另一方面，受非归一化取值范围的数学性质限制，GIoU、DIoU、CIoU最初被设计为损失函数[36,24]。这些改进并没有从根本上解决微小物体对iou敏感的问题。

Analysis of Metrics on Tiny Object Detection

l1是两点间距离，S是图像面积

在不失一般性的前提下，假设每个图下有两个大小相同的水平方形边界框A、B，边界框A的中心固定在坐标原点。框B沿对角线移动，如图所示。横坐标值为A和b的中心点之间偏移的像素数，纵坐标值为A和b的IoU、GIoU、DIoU和DotD，图中标注的不同颜色曲线表示盒子的不同边长。
上图可得，IoU是一种很好的阈值度量，但由于其敏感性，会降低微小目标探测器的性能。GIoU、DIoU、CIoU是在IoU的基础上改进的度量，它们解决了基于IoU的损失函数的一些问题，DIoU可以应用于网络管理系统。一方面，GIoU、DIoU、CIoU的取值范围分别为[-1,1]、(-1,1]、[-1,1]，它们没有规格化的形式，很难作为变化不大的阈值。另一方面，他们也没有从根本上解决微小物体的敏感问题。

Dot Distance for Tiny Object Detection

Definition of DotD

物体A的绝对尺寸和相对尺寸计算如下:

AS是绝对尺寸的缩写，RS是相对尺寸的缩写。wA,hA表示边界框A的宽度和高度。 W, H表示图像的宽度和高度

作者基于微小边界框的绝对尺寸和相对尺寸远小于中、大边界框的特征，提出了点距离(Dot Distance, DotD)。例如，微小物体检测数据集AI-TOD的平均绝对大小和相对大小分别为12.8像素和0.016像素。微小的物体可以被视为点，宽度和高度的重要性远远低于中心点的位置。因此，作者将DotD定义为:

式中，D表示两个水平边界框中心之间的欧氏距离，S表示某一数据集中所有图像的平均大小。为了得到0 ~ 1的取值范围，作者采用指数形式对其进行归一化。D和S的表达式如下:

式中(xA,yA)和(xB,yB)分别表示A和B的边界框的中心坐标，M表示某一数据集中图像的数量，Ni表示第i张图像中标记的边界框的数量，wij,hij表示第i张图像中第j个边界框的宽度和高度。

提出的DotD继承了IoU的一些属性，但也有自己的特点:
1.它们都有一个标准化的形式。IoU和DotD的取值范围分别为[0,1]和(0,1)。当两个边界框的中心重合时，DotD =0。当两个包围盒中心距离较远时，DotD→1。
2.IoU评估的是整个边界框之间的位置关系，而DotD只关注中心点之间的位置关系，更适合于绝对尺寸小于16像素的微小物体。
3.IoU对两个边界框之间的轻微偏移敏感，而DotD对两个边界框之间的轻微偏移不敏感，曲线从峰值开始缓慢下降，如图1(b)所示。

DotD-based Detectors

DotD可以作为判别正、负锚点进一步回归的阈值，克服了IoU度量下一些潜在的正锚点被定义为负锚点的问题，实验表明其在微小物体上的采样质量优于其他方法。
在后处理中，DotD是一个更好的小边界框NMS度量，在抑制冗余框时，两个小框之间的中心点距离比它们的宽度和高度重要得多。对于得分最高的预测框N, DotD-NMS通常可以定义为

其中框Bi仅通过两个框中心点之间的距离去除，si为分类分数，ε为NMS阈值。与IoU和DIoU相比，DotD-NMS考虑的因素较少，但适用于微小对象，易于集成到对象检测管道中，如表4所示

Experiment