[FreeAnchor]FreeAnchor: Learning to Match Anchors for Visual Object Detection[NeurlPS 2019]

FreeAnchor: Learning to Match Anchors for Visual Object Detection

paper:https://proceedings.neurips.cc/paper/2019/file/43ec517d68b6edd3015b3edc9a11367b-Paper.pdf
code

1. Motivation

​ intuition：对齐的物体候选框是对于物体的分类和回归最适合的的。作者认为这种假设并不合理，并且手工制定的IoU criterion并不是最佳的选择。

​ 另一方面，对于多物体重合时，使用IoU来匹配适合的anchors并不可行。并且手工的label assignment在面临acentric，slender和crowded的物体时候回failed。在现有的方法中，检测器训练期间仍然缺乏一种系统的方法来对锚点和对象之间的对应关系进行建模，这阻碍了特征选择和特征学习的优化。因此，作者找到一个自学习的方法，来解决这个手工设计的这个问题。

2. Contribution

• 作者制定目标检测器的训练是一个极大似然估计的方法，并且将手工设计的anchor assignment 变成 free anchor matching。

此方法，打破了IoU的限制，允许物体在MLE的准则下灵活的选择anchors。

• 作者在端到端的结构中联合优化物体的分类和回归。

3. Proposed Approach

3.1 Detector Training as Maxium Likelihood Estimation

图1 FreeAnchor与手工anchor assignment的比较

---

​ 从MLE的思路中，训练损失$L(\theta )$可以转换为似然概率，如下公式所示：

​ $P_{ij}^{cls}(\theta)$和$P^{bg}_j(\theta)$表示分类的confidence，$P_{ij}^{loc}(\theta)$表示位置的confidence。最小化公式1中的损失函数$L(\theta)$就是最大化公式2中的似然概率$P(\theta)$。

从MLE的理念中，公式2中考虑了分类的优化以及anchor的位置回归，可是它忽略了如何去学习匹配矩阵$C_{ij}$。现有的方法通过使用IOU来挑选anchors来解决这个问题，但是忽略了object-anchor matching的优化。

3.2 Detection Customized Likelihood

​ 为了实现关于object-anchor匹配的优化，作者在原有CNN网络框架的基础之上，加入了自制的检测似然。作者介绍一个检测自定义的似然函数，可以包含了recall和precision，同时保证NMS的兼容性。

​ 为了实现这种似然，作者构造了了一个对于每一个物体$b_i$的候选anchors的bag，来学习匹配最佳的anchor，同时最大化自定义检测似然。具体做法是先通过anchors与每一个object的IOU，为**每一个目标$b_j\in B$**选择top-n的anchors $A_i\subset A$，

• 为了优化召回率recall，对于每一个目标$b_j\in B$，在top-ranked anchors的基础上$A_i$，我们需要保证至少存在一个anchor，$a_j\in A_i$与之匹配。召回率的目标函数公式如下所示：

* 为了实现增加的检测精度precision，检测器需要将poor loc分类为背景类。通过公式4来实现优化： *

其中 P { a j ∈ A − } = 1 − max ⁡ i P { a j → b i } P\{a_j ∈ A−\} = 1 − \max_i P\{a_j → b_i\} P{ aj​∈A−}=1−maxi​P{ aj​→bi​}表示 a j a_j a<