【目标检测】|ECCV2020 AABO: Adaptive Anchor Box Optimization 验证anchor的重要性

AABO: Adaptive Anchor Box Optimization for Object Detection via Bayesian Sub-sampling

问题提出

证明anchor box的数量，大小尺度，长宽比是一个合理的目标检测系统中重要的因素。

现有系统预先定义anchor box的形状和大小，并使用特别的启发式（如手工制作或使用统计方法，如聚类）调整来定义anchor的配置。然而，当采用一个新的数据集或是新的模型的时候，当检测器扩展到一个新的特定问题时，锚定配置必须手动修改以适应这个新域的特性和分布，这是困难和低效的，可能不是最佳的或者甚至是错的。

问题分析

锚点的形状和分布在不同的特征图上有明显的差异，所以在所有这些特征图中共享相同的锚点设置是不合理的。

图2显示了COCO[20]数据集中边界框(蓝色的点)和锚点(黄色的曲线)的上界和下界的分布实例。黑色矩形内的区域为前期实验中使用的搜索空间。我们可以观察到存在一个超出上下边界的区域，因此不会出现边界框，而搜索算法仍然会在这里采样锚定。因此，有必要将搜索空间限制在上界和下界之内。

主要内容

然后证明锚点的形状和分布在不同的特征图上有明显的差异，所以在所有这些特征图中共享相同的锚点设置是不合理的。

对已有数据集中边界框的分布和模式进行细致分析的基础上，设计了一个紧凑的、自适应的特征图金字塔搜索空间，充分利用搜索资源。通过仔细分析特征层次上已有的边界框模式，设计了一个灵活、紧凑的anchor配置的超参数空间。

提出一个新的结合贝叶斯优化和子采样方法优点的超参数优化方法AABO来为某个数据集确定更合适的anchor，实现了精确高效的anchor配置优化。

自适应特征图搜索空间

我们为FPN[18]设计了一个自适应搜索空间，如图2左子图所示。5个红色矩形内的区域和锚点分布边界代表FPN中每个特征图的搜索空间。随着特征图更高和更小，锚点的数量减少，锚的尺度和比例也被限制在一个更小的范围内。

搜索方法

提出的方法利用BO来选择潜在的配置，然后根据已评估的配置来估计采集函数，然后最大化采集函数来识别有希望的新配置。同时，采用子抽样的方法确定哪些配置需要分配更多的预算，并在搜索空间中探索更多的配置。图4说明了我们提出方法的流程，总之，我们的方法可以获得良好的性能和更好的速度，并充分利用在以前预算基础上建立的模型。

背景

在特征图上均匀采样一组具有预定义尺度和纵横比的密集分布锚点，然后使用神经网络预测锚点的形状偏移量和位置偏移量以及分类置信度。
虽然锚的配置是神经网络相当关键的超参数，锚的设计总是遵循直接的策略，如手工制作或使用统计方法，如聚类。拿一些广泛使用的检测框架作为例子，Faster R-CNN[28]使用3个尺度(1282、2562、5122)和3个长宽比(1:1、1:2、2:1)的预定义锚定形状，YOLOv2[27]通过对边界盒的ground-truth进行k-means聚类来建模锚定形状。当检测器扩展到一个新的特定问题时，锚定配置必须手动修改以适应这个新域的特性和分布，这是困难和低效的，可能不是检测器的最佳

虽然人工确定超参数是不合理的，但近年来超参数优化(HPO)问题得到了很大的发展，提出了大量的超参数优化方法。最有效的方法包括贝叶斯优化(BO)和Bandit-based的策略。BO按照三个步骤优化迭代：a)选择采集函数最大化的点；b)评估目标函数；c)在数据中加入新的观测值并重新训练模型，为在资源充足的情况下选择有前景的超参数提供了一种有效的方法。与BO不同，Bandit-based的提出是为有效地测量超参数的性能。其中，Hyperband[17] (HB)利用在更小的预算上的廉价评估获取函数的近似，内循环则进行Successive Halving算法，以确定n个随机采样配置中最好的。[10]中引入的Bayesian Optimization and Hyperband(BOHB)结合了这两种方法来处理HPO搜索空间很大的问题，被认为是一种非常先进的HPO方法。然而，BOHB不太适合我们的anchor优化问题，由于适用于小目标的锚点往往难以收敛，因此可以通过SuccesiveHalving算法来优化会提前停止和放弃最优的锚点配置。

结果

anchor优化的结果

我们首先在3个大规模检测数据集:COCO [20]、VG[16] (包括VG1000和VG3000)和ADE[35]上评估AABO的有效性。我们使用Faster-RCNN[28]结合FPN[18]作为检测器，基线模型为FPN，默认锚定配置。结果如表2所示，附录中报道了AABO搜索出的最佳锚点。

AABO在COCO上改进了2.4%的mAP，在VG1000上改进了1.5%，在VG3000上改进了0.5%，在ADE上改进了1.6%。结果表明，在常用检测器中使用的预定义锚不是最优的。将锚定配置视为超参数，使用AABO对其进行优化，可以帮助确定更好的锚定设置，在不增加网络复杂度的情况下提高检测器的性能。
值得注意的是，搜索的锚提高了所有AP指标，而APL的改进总是比APS和APM更显著
这些结果表明，由AABO确定的锚定配置能更好地集中于所有对象，尤其是较大的对象。

与其他锚初始化方法进行比较

与其他HPO方法的比较