【深度学习】【ICCV2019】FCOS

逐像素预测 更简单的检测器

Introduction

anchor boxes存在的缺点：

1. 模型对anchor boxes的各种设置敏感。
2. 尺度和长宽比一旦固定，对形状大小变换大的物体，尤其是对小物体的检测效果不好。
3. 生成的anchor boxes数量太多，会造成训练样本不平衡。
4. 计算复杂，比如和gt box的IoU的计算，匹配的阶段，并且占用内存。

出发点

Can we solve object detection in the neat per-pixel prediction fashion, analogue to FCN for semantic segmentation, for example?

DenseBox(CVPR2015)是这种基于FCN目标检测网络的初次尝试，它在原图的每个点都预测4个向量（与边的距离）和1个类别，如下图左边所示。但是DenseBox为了检测不同大小的目标，需要裁剪较大块包含目标物和具有充分背景信息的patches进行并resize到一定尺度进行训练，这就意味着为了检测不同大小的目标就需要用到图像金字塔，也就要利用卷积网络前向多次，不符合FCN只前向一次的原则。同时还有下图右边的问题，对于两个框重叠部分的像素，到底去回归哪个框？

FCOS在论文中不仅消除了这种歧义，还通过center-ness解决了自身算法引起的问题，在距离目标越远的像素点，它所预测的框质量比较低。通过一层center-ness分支来预测距离目标中心的偏移，并将该偏移作为权重衰减的系数应用于低质量的检测框。

Related works

Anchor-based Detectors

anchor就相当于滑动窗口，例如Faster RCNN在特征图上进行anchor的生成，生成了$\frac{H}{16}\times \frac{W}{16}\times 9$个anchor，9为预设的每个点生成anchor的数量。然后从20000多个anchor中选出256个进行分类和回归，对于每一个gt box，选择和它IoU最高的作为正样本，然后对于剩下的anchor，选择和gt box的IoU超过0.7的作为正样本，正样本数不超过128个，其次选择和gt box的IoU小于0.3的作为负样本。

Anchor-free Detectors

• YOLOv1：只有临近gt box中心的点才去负责预测框的位置，所以recall比较低。将原图分为了$s\times s$个grid，只有gt box中心的点所在的grid负责预测该框。
• FCOS：充分利用gt box里面所有点去预测框的位置，同时通过center-ness与抑制质量不好的框。
• CornerNet：预测框的左上角和右下角的点，然后分组，形成最后的预测框。需要后处理操作比如说分组。

FCOS

Fully Convolutional One-Stage Object Detector

label的生成
对于特征图上的一点$(x,y)$，可以映射回原图对应，其中$s$是采样率：

比如说原图是$16\times 16$，经过$s=4$后的下采样后特征图大小是$4\times$