FCOS论文整理(CVPR2021)

论文地址和代码

论文: https://arxiv.org/pdf/1904.01355.pdf.
代码: https://github.com/tianzhi0549/FCOS/.

主要贡献

这是2021年的一篇CVPR论文，该论文的主要贡献有如下几点：
●定义了一套不使用锚框，只使用全卷积的Anchor-free目标检测算法(FCOS)。
●利用金字塔模型(FPN)进行多尺度预测，解决了Anchor-free目标检测算法中的一个公认的缺点：难以处理图像中具有高度重叠目标的场景。
●提出Center-ness方法，解决了FCOS在训练时，远离目标中心的位置产生许多低质量的预测边界框的情况。

贡献解释

首先，看第一点，FCOS是如何利用全卷积设计目标检测算法的？其实FCOS的处理方式比较简单粗暴，直接在主干特征层之后加入FPN，在FPN后面输出的特征图上直接预测了一个4维向量加一个类别，4维向量用来预测目标框的位置，如下图左边所示，这4个维度分别是l,t,r,b,分别代表中心点到四条边的距离。

FCOS的网络结构如下图所示，可以看出来，FCOS的head与一般的Anchor-free算法的head还有一个不一样的地方是，它多了一个Center-ness部分。也可以看出，FCOS的金字塔模型(Feature Pyramid)完全是用来提供多尺度预测的。

之所以要使用金字塔模型进行多尺度预测，是要解决多目标重叠难以预测的问题。作者是这样来定义多尺度预测的操作的。首先，有5个级别的特征图，分别为P3,P4,P5,P6,P7，如上图所示。我们在每个不同级别的特征图上检测不同大小的对象。P3、P4 和 P5 由主干 CNN 的特征图 C3、C4 和 C5 经过一个 1×1 卷积层产生的，P6 和 P7 是通过分别在 P5 和 P6 上应用一个步幅为 2 的卷积层产生的。因此，特征级别 P3、P4、P5、P6 和 P7 的步幅分别为 8、16、32、64 和 128。与Anchor-based检测器不同，Anchor-based检测器是将不同大小的锚框分配给不同的特征级别，而FCOS是直接限制每个级别的边界框回归的范围。更具体地说，FCOS首先计算所有特征级别上每个位置的回归目标 l∗、t∗、r∗ 和 b∗。假设mi是特征级别i需要回归的最大距离，则m2、m3、m4、m5、m6和m7分别设置为0、64、128、256、512和∞。由于具有不同大小的对象被分配到不同的特征级别，并且大多数重叠发生在具有明显不同大小的对象之间。如果一个位置，即使使用了多级预测，仍然被分配给多个真实框，我们只需选择面积最小的真实框作为其目标。实验表现，通过上述的操作，可以在很大程度上解决重叠目标的歧义问题。最后，我们想在不同特征级别之间共享heads（因为这样可以是检测器的参数高效），但是我们发现，不同的特征级别需要的框大小范围又不一样，为了兼顾这两个问题，这里没有使用标准的exp(x)函数，而是使用带有可训练标量的 exp(x) 来自动调整特征级别 Pi 的指数函数的基数，这略微提高了检测性能。
下面讲一下Center-ness的操作，在 FCOS 中使用多级预测后，FCOS 和基于锚的检测器之间仍然存在性能差距。作者观察到这是由于远离对象中心的位置产生了许多低质量的预测边界框。作者提出了一种简单而有效的策略来抑制这些低质量检测到的边界框，而不引入任何超参数。具体来说，作者添加一个单层分支，与分类分支并行来预测位置的“中心度”。中心度描述了从该位置到该位置负责的对象中心的归一化距离，如下图所示。

给定一个位置的回归目标 l∗、t∗、r∗ 和 b∗，中心度目标定义如下，

这里使用了根号来减缓中心度的衰减。从上面的一张图也可以看到centerness的用法，测试时，最终分数（用于对检测到的边界框进行排序）是通过将预测的中心度与相应的分类分数相乘来计算的。因此，中心度可以降低远离对象中心的边界框的分数。因此，这些低质量的边界框很有可能被最终的非最大抑制（NMS）过程过滤掉，从而显着提高检测性能。