小目标检测——特征金字塔网络（FPN）

论文： Feature Pyramid Networks for Object Detection

1. 介绍

（a）图像金字塔对原图对原图进行上采样和下采样得到不同尺度的图像，然后分别对不同尺度的图像做卷积得到特征图（feature map），这样做明显很耗时。
（b）只用到了最高层的特征，越高层特征图语义信息越丰富，但是分辨率会降低，这样网络会不可避免的忽略小目标，比如R-CNN，Fast R-CNN、Faster R-CNN等检测不出小目标。
（c）直接在不同尺度的特征图上做预测，没有上采样过程，比如SSD（Single Shot Detector）。因为网络是在原有的特征图上做预测的，所以不会增加额外的计算开销，但是作者认为SSD还是没有用到足够底层的特征，越底层的特征对小目标的检测越有帮助。
（d）作者提出的方法，将高层特征做上采样增大特征图的尺度，然后将同尺度的特征图进行融合得到新的特征图，最后在这些新的特征图上做预测，这样网络就既能用到高层特征的语义信息，也能用到底层特征的位置信息。

2. 网络结构

金字塔的构建包括自下而上的通道，自上而下的通道和横向连接三部分。

2.1 自下而上的通道

这是数据向上流动的过程。特征图在经过某些层后会改变大小，比如步长为2的卷积层和池化层，当然，在经过某些比如Rule之类的激活层时候不会改变大小，作者将同尺度的特征图称为金字塔的一个阶（stage）。

2.2 自上而下的通道

这是数据向下流动的过程。对顶层特征图做上采样增大特征图的尺寸，使其和底层特征图尺寸相同，然后将同尺寸的底层特征图和顶层特征图进行融合以消除上采样后的混叠效应（图片失真，小目标的位置可能会发生改变）

2.3 横向连接

横向连接是将底层特征图和顶层特征图融合的方法。用$1\times 1$卷积改变自下而上通道上特征图的通道数（图3左上），使其和自上而下通道上特征图的通道数一致（图3右上），最后对同阶的特征图相加进行融合，这样就消除了上采样的混叠效应。

3. 核心思想

卷积神经网络由浅到深，语义信息越来越丰富，但特征图越来越小，分辨率越来越低，解决方案是接将浅层和高层的特征图连接起来，将浅层的信息传递到深层，以解决深层特征图容易忽略小目标的问题。

引用

FPN特征金字塔网络解读
FPN:feature pyramid networks for object detection
FPN（特征图金字塔网络）理论基础与具体实现
FPN–2017 CVPR解读
图像混叠现象