RFBNet

论文：https://arxiv.org/abs/1711.07767
代码：https://github.com/ruinmessi/RFBNet

1 当前的目标检测及存在的问题

自从RCNN开创了使用CNN进行目标检测的先河之后，一系列的基于CNN的目标检测算法不断演化取得了越来越好的检测效果。主流的检测算法分为两类，一类是两阶段的检测算法，另一类是一阶段的检测算法。两阶段的检测算法包括RCNN、Fast RCNN、Faster R-CNN、R-FCN、FPN、Mask R-CNN，两阶段的检测算法首先进行和目标类别无关的proposal的提取和初步定位，然后再针对每一个roi区域进行目标的类别判断及位置修正。两阶段目标检测算法的优点是精度高，缺点是实现复杂，计算量大，推理速度慢。一阶段的目标检测算法，采用了和两阶段检测算法不同的思路，不需要生成proposal，直接进行目标的检测，代表性算法有SSD系列和Yolo系列。一阶段的检测算法优点是推理速度比两阶段算法快，缺点是定位精度赶不上两阶段的检测算法。但最近代表性的一阶段检测算法DSSD和RetinaNet的检测精度基本上赶上甚至超过了两阶段算法，并保持了相对较高的推理速度。

但是在上面这些检测算法中，作者认为其良好的检测效果主要来自于使用了有判别力和鲁棒的CNN网络，如ResNet和Inception，这造成了推理速度的下降。因此，作者想改变思路，使用轻量型的CNN网络结合人工设计的机制在保持高效推理的同时优化目标检测的效果。

2 RFB核心思想

作者借鉴了人类视网膜的感受机制，人眼群组感受野的尺寸是和视网膜的偏心度(偏心度，即偏离中心的程度)相关的。具体如下图所示，偏心度越大，感受野的尺寸也越大。这样的特性有助于更加强调靠近中心位置的区域的重要程度，使其对小的空间偏移更加敏感(目标检测应该具有平移变化性，即目标平移之后，检测结果也应该跟着平移。图像分类需要具有平移不变性)。

如何设计卷积过程中的偏心度，作者的答案就是使用空洞卷积，关于空洞卷积的介绍可以参考：https://www.jianshu.com/p/f743bd9041b3。空洞卷积可以在保持参数数量的基础上增大感受野的尺寸，适合于目标分割任务。空洞卷积的输出和输入尺寸计算公式为：

$$H_{out}=\lfloor \frac{H_{in}+2\times \text{padding}[0]-\text{dilation}[0]\times (\text{kernel\_size}[0]-1)-1}{\text{stride}[0]}+1\rfloor$$

d=2的3 * 3空洞卷积相当于d = 1的5 * 5卷积的输出尺寸。

作者调研了当时已经实现了的三种针对不同感受野的设计思路，分别是Inception结构、ASPP和可变形卷积DCN。Inception结构中使用了多种尺度的卷积核，但是这些卷积核具有相同的中心位置，并没有考虑偏心度这一因素，仅仅是不同尺度的特征的堆叠；ASPP中利用空洞卷积实现了在距离特征图的不同距离的位置进行特征处理，实现了不同的偏心度，但是其在不同的分支使用了相同大小的卷积核；DCN中根据目标的形状自适应学习卷积的采样位置，但是并未考虑偏心度这一因素。
基于前面的分析和对比，作者设计了同时考虑偏心度和感受野尺寸的处理模型，称之为RFB(Receptive Field Block)，具体的实现是对前一层的feature map应用多个分支的处理，每个分支由不同尺度的卷积核和对应dilation的空洞卷积组成。最后对多个分支进行concatenate操作和1 * 1卷积后输出最后的处理特征。其整体流程如下图所示：

上图中可以看出，第一个分支使用了1 * 1的卷积和dilation为1的3 * 3的卷积，第二个分支使用了3 * 3的卷积和dilation为3的3 * 3卷积，第三个分支使用了5 * 5的卷积和dilation为5的3 * 3卷积。因为在空洞卷积前面使用了普通的卷积，那么在进行空洞卷积的时候，其输入的feature map上的一个点就对应于原始feature map上大小为前面普通卷积核大小的感受野区域，因此实现了在不同偏心度时使用了不同大小的感受野，实现了对人类感知机制的模仿。

回过头来再看Fig 3，可以认为RFB是以人类的感应机制为指导，结合Inception和ASPP进行实现的。

作者借鉴IncptionV4和Inception-ResNetV2的思想，更新设计了两种RFB，如下图所示：
上面两种RFB都首先使用1 * 1卷积减少通道数以构建bottleneck结构，然后再使用n * n的普通卷积和dilation也为n的空洞卷积。作者添加了shortcut结构，另外使用两个 3 * 3的卷积代替一个5 * 5卷积，在减少参数量的基础上增加了模型的非线性能力。进一步又使用1 * n和n * 1卷积代替n * n卷积。

3 使用RFBNet进行目标检测的实验结果

将RFB结构应用到SSD目标检测框架中，在保持高速推理的情况下提升了检测效果。

还可以和轻量化网络MobileNet结合改善检测效果。