FPN: Feature Pyramid Networks for Object Detection

FPN: 目标检测

引言

特征金字塔在多尺度物体检测中的一个基本组成部分。但是在以前的深度学习算法中通常避免使用金字塔表示，因为它带来了计算和内存的压力。为此，论文探讨了继承了多尺度和金字塔的深度卷积网络，在可接受的开销的范围内来构建特征金字塔。一个带有横向连接的自上而下的网络结构用来在不同的尺度下生成高层语义特征。该网络称为FPN。

FPN

为了利用卷积网络的金字塔特征，它们包含了低级和高级的语义特征 ，并构成了一个带有高层级语义的特征金字塔。

FPN是一个全卷积网络，其输入可以是任意尺寸的单尺度图像， 并在不同的层级输出等比例大小的特征图。 其过程相对于backbone卷积网络是独立的。整个结构包含了一个自下而上的路径、一个自上而下的路径以及横向连接。

自下而上的路径（backbone）

自下而上的路径主要是一个主干（backbone）卷积网络的前向计算过程， 其主要作用是在不同尺度下计算在多个特征图中特征的层级性。这之中常常有许多的神经网络层会产生同样大小的输出图，因此这些层称之为“阶段（stage）”。对于特征金字塔，可以依据“阶段”设定对应的金字塔层级（level），因此采用每个“阶段”的最后一层输出来构建金字塔。这是因为每个阶段的最深层具有最强的特征。

自上而下的路径（lateral connection）

这自上而下的路径使得由上采样得到高分辨率的特征在空间上非常粗糙， 但其实其语义性非常强，因为这些特征图来自于特征金字塔的高层。这些特征图会得到由横向连接至自下而上路径中的部分特征图的强化。每一个横向连接都会将来自两条路径中相同大小的特征图进行组合。自下而上的特征图是低层次语义的， 但却因较少的降采样而具有更精确的局部定位效果。

在自上而下的路径中，分辨率是逐渐增加的，这种分辨率扩增是通过简单的最近邻上采样进行操作的。在对应的自下而上的路径中，其输出经过一个1x1的卷积层减少了通道维度后自上而下的输出进行相加（这里并不是简单的通道数叠加！！！）。同时，对合并之后的特诊图使用3x3的卷积操作来消除上采样带来的混淆影响。

在传统的特征图金字塔中，各层都共享一个分类器或者回归器， 因此在FPN中也固定了特征图的维度（通道数）。