Feature Pyramid Networks for Object Detection

《Feature Pyramid Networks for Object Detection》，2016 Computer Vision and Pattern Recognition，论文地址

0.引言

（a）Featurized image pyramid（特征图像金字塔，常见于传统图像处理）

检测不同尺度目标时，首先将图像缩放到不同尺度，再依次推导出不同尺度图像的特征图并在此基础上进行预测。效率低

（b）Single feature map（标准版Faster R-CNN）

将图像经过特征提取网络（backbone）得到最终的特征图并在最终得到的特征图上进行预测。小目标、不同遮挡程度目标检测能力差

（c）Pyramidal feature hierarchy

将图像经过特征提取网络（backbone），在特征提取网络（backbone）正向传播中，在不同特征图上分别进行预测。精度较低

（d）Feature Pyramid Network

将图像经过特征提取网络（backbone），在特征提取网络（backbone）正向传播中，不只是简单的在不同特征图上分别进行预测，还将不同特征图的特征进行了融合并在融合后的特征图上分别进行预测。精度高

1. 1 * 1 卷积和上采样

 前提：特征提取网络正向传播中相邻特征图尺寸高宽相差2的整数倍，如 56 * 56 28 * 28  14*14 ，才能将FPN与特征提取网络结合。

  （特征图融合）必须保证不同特征图的shape（h、w、c）相同，因此 1 *1 conv  和 2x up 必不可少。

针对特征提取网络正向传播中的每个特征图都先进行 1 *1 conv，1 *1 conv 目的在于调整特征提取网络正向传播中的每个特征图的通道数。特征提取网络正向传播中不同特征图的通道数都不同，一般而言，越浅层次即几何信息更丰富的特征图通道数越少，越深层次即语义信息更丰富的特征图通道数越多。原论文中 1 * 1 的卷积核的个数为256，即最终得到的特征图的channel都等于256。

深层次特征图的高宽是相邻浅层次特征图的高宽一半（前提），因此需将深层次特征图进行 2x up （2倍上采样）

2x up 论文细节及pytorch官方实现

2. FPN流程图及应用