ATSS：Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training （CVPR202

hh
源代码

Abstract

多年来，基于锚点的探测器一直是目标检测的主流。近年来，由于FPN和Focal Loss的提出，无锚探测器得到了广泛的应用。本文首先指出基于锚点和无锚点检测的本质区别在于如何定义正训练样本和负训练样本，这导致了他们之间的性能差距。如果在训练过程中采用相同的正样本和负样本定义，无论从一个方框还是从一个点回归，最终的表现都没有明显的差异。这表明如何选择正训练样本和负训练样本对当前目标检测器很重要。然后，我们提出了一种自适应训练样本选择(ATSS)方法，根据目标的统计特征自动选择正样本和负样本。它大大提高了基于锚点和无锚点的探测器的性能，弥补了两者之间的差距。最后，我们讨论了在图像上每个位置平铺多个锚点来检测目标的必要性。

在MS COCO上进行的大量实验支持了我们的上述分析和结论。使用新引入的ATSS，我们在不引入任何开销的情况下，将最先进的检测器的AP大幅提高到50.7%。

Introduction

作者比较了FCOS和RetinaNet，发现它们之间主要有三个区别：(1)每个位置平铺锚的数量。RetinaNet在每个位置平铺几个锚盒，而FCOS在每个位置平铺一个锚点。(2)正、负样本的定义。RetinaNet采用IoU，而FCOS则利用空间和尺度约束来选择样本。(3)回归开始状态。RetinaNet从预设锚点回归目标边界框，而FCOS从锚点定位目标。

在本文中，我们严格排除了基于锚点和无锚点方法之间的所有实现不一致性，以公平的方式研究了它们之间的差异。从实验结果可以看出，这两种方法的本质区别在于正负训练样本的定义，这导致了它们之间的性能差距。如果他们在训练时选择相同的正负样本，那么无论是从一个方框还是从一个点回归，最终的表现都没有明显的差距。因此，如何选择正训练样本和负训练样本值得进一步研究。受此启发，我们提出了一种新的自适应训练样本选择(ATSS)，基于目标特征自动选择正样本和负样本。

Contribution

•表明基于锚点和无锚点检测器之间的本质区别实际上是如何定义良好的正训练样本和负训练样本。
•提出了一种自适应训练样本选择方法，根据目标的统计特征自动选择正训练样本和负训练样本。
•证明在图像上的每个位置平铺多个锚点来检测物体是无用的操作
•在不引入任何额外开销的情况下实现MS COCO的最先进性能。

Related Work

目前基于cnn的目标检测包括基于锚点和无锚点的检测器。前者可分为两阶段法和一阶段法，后者可分为基于关键点法和基于中心法

Anchor-based Detector

Two-stage method：RCNN系列
One-stage method：SSD

Anchor-free Detector

Keypoint-based method：
Center-based method：YOLO、FCOS、CSP

Difference Analysis of Anchor-based and Anchor-free Detection

对基于锚点的RetinaNet和无锚检测器FCOS进行了分析


这些结果表明，正样本和负样本的定义是基于锚点和无锚点探测器之间的本质区别

Adaptive Training Sample Selection

算法详见
在训练目标检测器时，我们首先需要定义正样本和负样本进行分类，然后使用正样本进行回归。根据前面的分析，前一个步骤是至关重要的，无锚点探测器FCOS改进了这一步骤。它引入了一种新的定义正负的方法，比传统的基于借据的策略获得了更好的性能。受此启发，我们深入研究了目标检测中最基本的问题:如何定义正训练样本和负训练样本，并提出了自适应训练样本选择(ATSS)。与这些传统策略相比，我们的方法几乎没有超参数，并且对不同的设置具有鲁棒性。

Description

以前的样本选择策略有一些敏感的超参数，如基于锚点的检测器的IoU阈值和无锚点检测器的尺度范围。在这些超参数设置好之后，所有的ground-truth boxes必须根据固定的规则选择它们的正样本，这些规则适用于大多数对象，但会忽略一些外部对象。因此，这些超参数的不同设置将产生非常不同的结果。
为此，我们提出了几乎不需要任何超参数，根据目标的统计特征自动划分正负样本的ATSS方法。算法1描述了所提出的方法如何用于输入图像。对于图像上的每个真值盒g，我们首先找出它的候选阳性样本。如第3行至第6行所述，在每个金字塔级别上，我们根据L2距离选择k个中心最接近g中心的锚框。假设有L个特征金字塔层，则真值盒g将具有k×L可候选阳性样本。之后，我们在第7行中计算这些候选值与基本事实g之间的IoU 作为D g，其平均值和标准差在第8行和第9行中计算为mg和vg。有了这些统计数据，这个ground-truth的IoU阈值可以在第10行中通过g = m g +v g得到。最后，我们在第11行至第15行中选择IoU大于或等于阈值t g的候选样本作为最终的阳性样本。值得注意的是，我们还将阳性样本的中心限制在接地真值框中，如第12行所示。另外，如果一个锚箱分配给多个接地真值箱，则选择IoU最高的锚箱。其余为负样本。我们的方法背后的一些动机解释如下。
对于每个真值g：
为真值g的候选阳性样本建立一个空集Cg = 空集
对于每一层i：
基于L2距离从Ai中选择离真值g中心最近的k个锚盒
将这k个anchor放到Cg中
在Cg和g之间计算IoU：Dg = IoU(Cg，g）
计算Dg的均值：mg = Mean(Dg)
计算Dg的标准差：vg = Std(Dg)
计算真值g的IoU阈值：tg = mg+vg（采用均值mg和标准差v g的和作为IoU阈值t g，可以根据对象的统计特征，自适应地从适当的金字塔水平为每个对象选择足够的阳性）
对于每个候选框c∈Cg：
如果IoU(c,g)≥tg，并且c的中心在g中
P = P∪c（则将anchor c添加到阳性样本集P中）
N = A - P（负样本集N = 所有的锚盒-阳性样本anchor）

根据锚框与目标之间的中心距离选择候选对象

对于RetinaNet来说，锚盒中心越靠近物体中心，IoU越大。对于FCOS，锚点越靠近目标中心，检测质量越高。因此，离物体中心越近的锚点是越好的候选点

用均值和标准差的和作为IoU阈值

对象的IoU平均值是对该对象的预设锚的适用性的度量。如图3(A)所示的高mg表明它具有高质量的候选对象，并且IoU阈值应该很高。如图3(b)所示，mg较低表明其候选物大多数质量较低，IoU阈值应较低。此外，物体的IoU标准偏差vg是测量哪些层适合探测该物体的度量。如图3(A)所示的高vg意味着存在一个特别适合该对象的金字塔级别，将vg添加到mg获得一个高阈值，仅从该级别选择阳性。如图3(b)所示的低vg意味着有几个适合该对象的金字塔级别，将vg添加到mg可以获得从这些级别中选择适当阳性的低阈值。采用均值mg和标准差v g的和作为IoU阈值t g，可以根据对象的统计特征，自适应地从适当的金字塔水平为每个对象选择足够的阳性。

将阳性样品的中心限制在目标上

中心在物体外的anchor是一个较差的候选，会被物体外的特征预测，不利于训练，应排除

保持不同对象之间的公平性

根据统计理论，理论上约有16%的样本处于置信区间[m g +v g,1]内。虽然候选物的IoU不是标准的正态分布，但统计结果表明，每个物体约有0.2 * kL的阳性样本，这与它的尺度、纵横比和位置无关。相比之下，对于较大的目标，RetinaNet和FCOS策略往往有更多的阳性样本，导致不同目标之间的不公平。

保持几乎没有超参数

我们的方法只有一个超参数k，随后的实验证明它对k的变化非常不敏感，so所提出的ATSS几乎可以被认为是无超参数的。

Verification

为了验证我们的自适应训练样本选择对于基于锚点和无锚点的检测器的有效性，我们使用它来取代改进的RetinaNet、FCOS (#A=1)中的传统策略。如表3所示，它持续提高了AP的2.3%、AP 50的2.4%、AP 75的2.9%、AP S的2.9%、AP M的2.1%和AP L的2.7%的性能。这些改进主要是由于基于每个基真值的统计特征自适应选择阳性样本。由于我们的方法只重新定义阳性和阴性样本，而不会产生任何额外的开销，因此这些改进可以被认为是免费的。

Analysis

超参数k

我们进行了几个实验来研究超参数k的鲁棒性，该参数用于从每个金字塔水平选择候选阳性样本。如表4所示
总的来说，唯一的超参数k是相当鲁棒的，所提出的ATSS几乎可以被认为是无超参数的

Anchor大小

在之前的实验中，每个位置平铺一个具有8S (S表示金字塔级别的总步幅大小)的正方形锚。如表5所示，我们在[5、6、7、8、9]中对不同尺度的方锚进行了一些实验，其性能都相当稳定。
另外，对8S锚箱进行了几种不同宽高比的实验，如表6所示。表演对这种变化也不敏感。结果表明，该方法对不同锚点设置具有较强的鲁棒性。

分析

当我们将锚标或纵横比从3更改为1时，结果几乎没有变化，如表7的第四和第五行所示。也就是说，只要选择合适的阳性样本，无论在每个位置平铺多少个锚点，结果都是一样的。我们认为，在我们提出的方法下，每个位置平铺多个锚点是无用的操作，需要进一步研究以确定其正确的作用

Conclusion

在这项工作中，我们指出基于一级锚点和基于中心的无锚点检测器之间的本质区别实际上是正训练样本和负训练样本的定义不同。这表明在目标检测训练中如何选择正样本和负样本是至关重要的。受此启发，我们深入研究了这一基本问题，提出了自适应训练样本选择，根据目标的统计特征自动划分正训练样本和负训练样本，从而弥合了基于锚点和无锚点检测器之间的差距。我们还讨论了每个位置平铺多个锚点的必要性，并表明在当前情况下它可能不是一个很有用的操作。在具有挑战性的MS COCO基准测试上进行的大量实验表明，所提出的方法可以在不引入任何额外开销的情况下实现最先进的性能