[AutoAssign]AutoAssign: Differentiable Label Assignment for Dense Object Detection

paper:https://arxiv.org/abs/2007.03496
code:https://github.com/Megvii-BaseDetection/AutoAssign

文中对于Label; Assignment的定义：

Determining positive/negative samples for object detection is known as label assignment.

1. Motivation

目前主流的label assignmnet方法主要分为2种：
（1）Anchor-Based Detectors 如RetinaNet是在每一个位置上准备了多种尺度以及比例的anchor，并且使用IOU来对正负样本进行resort；
（2） Anchor-Free Detectors 如FCOS，对于每一个object选取一个固定的中心区域的部分作为正的空间位置，并且通过FPN的尺度限制，来选择每个特定的FPN的stage上的正样本。
这些center prior方法在主流数据集上表现优异，但是在现实生活，对于香蕉以及雨伞等类别，这种采样方法可能就会选择到object外的location，就无法涵盖了类别的多样性分布。

the diverse distributions of categories

近期的一些研究中，如GuidedAnchoring和MetaAnchor在采样前动态的改变anchor shape的先验知识。ATSS，FreeAnchor等方法自适应对每一个object的spatial维度以及scale维度进行建模。
然而，这些方法只能在部分的label assignment实现data-driven。其他部分还是需要人的先验设置，阻止了label assignmnet的进一步优化。作者基于以下的直观想法为动机：

Intuitively, sampling locations on objects is better than background because they are prone to generate higher quality proposals. Motivated by this, we present Auto-Assign, which makes label assignment fully data-dependent and appearance-aware.

2. Contribution

作者认为的3个方面的贡献：
（1）提出了一种外观识别和完全可微分(differentiable)的标签分配加权机制。，它使spatial和scale任务得以统一的优化。

The entire process of weighting is differentiable and can be conveniently optimized by back-propagation during training.

（2）提出了2种权重模型（Center Weighting 和 Confidence Weighting）以在空间和尺度维度上调整特定类别（category-specific)的先验分布和特定实例(instances-specific)的采样策略。
（3）Auto-Assgin在MS COCO上得到COCO，在其他的数据集如PASCAL VOC等数据集也有很强大的竞争力。

3. Method

采用anchor-free的FCOS结构，去除了预定义的anchors并且直接在每一个特征的位置上预测物体。
网络会输出三个直，classification score，localization offsets和implicit-objectness score。

AutoAssign的网络结构以及训练时的样本选取策略

3.1 Prior-level : Center Weighting

$$G(\vec{d}|\vec{\mu },\vec{\sigma })=e^{\frac{-(\vec{d}-\vec{\mu }{)}^2}{2{\vec{\sigma }}^2}}\text{\hspace{1em}(1)}$$
G是一种基于类别的高斯形式的权重函数。这个中心加权模块保证了越靠近bbox中心的location会拥有更高的weights，而距离越远则weights会越低。
其中，$\vec{d}$表示在沿x和y方向上，在一个物体的内部的确定位置，相对于它自己box center的偏移。$\mu$