FPN：Feature Pyramid Networks for Object Detection

用于目标检测的特征金字塔网络——FPN（解读）(原论文）

---

FPN架构将低分辨率语义强大的特征与高分辨率语义较弱的特征相结合，通过横向连接的自上而下的架构构建一个特征金字塔，用于在所有尺度上构建高级语义特征图。

---

其他方法与FPN模型对比

（a）使用图像金字塔构建特征金字塔。 在每个图像比例上独立地计算特征，这是缓慢的。（b）仅使用单一尺度的特征来加快检测速度。（c）重用由ConvNet计算的金字塔特征层次结构，就好像一个特征化的图像金字塔。 （d）特征金字塔网络（FPN）速度像（b）和（c），但更准确。 在此图中，特征图以蓝色轮廓表示，较粗的轮廓表示语义较强的特征。

顶部：在最精细的级别上进行。 底部：文中的模型在各个层面独立进行预测。

---

FPN

1. 方法采用任意大小的单尺度图像作为输入，并以完全卷积的方式输出多个级别的按比例大小的特征图。
2. 自下而上的路径计算一个特征层次结构，由几个尺度的特征图组成。它其实就是网络的前向过程。在前向过程中，feature map的大小在经过某些层后会改变，而在经过其他一些层的时候不会改变，作者将不改变feature map大小的层归为一个stage，因此每次抽取的特征都是每个stage的最后一个层输出，这样就能构成特征金字塔。选择每个阶段的最后一层的输出作为参考特征映射集，是因为每个阶段的最深层应该具有最强的特征。
3. 自上而下的路径通过从较高的金字塔等级上升空间粗略但在语义上更强的特征映射来幻化更高分辨率的特征。然后通过横向连接从自下而上的路径增强这些特征。每个横向连接合并来自自下而上路径和自上而下路径的相同空间大小的特征图。假设生成的feature map结果是P2，P3，P4，P5，和原来自底向上的卷积结果C2，C3，C4，C5一一对应。C1之所以去掉，是因为尺寸太大。自底向上的特征映射具有较低级别的语义，但是它的激活更准确地反应了原图像特征，因为它的子采样次数较少。

上图显示了构建自上而下的特征映射的构建块。使用较粗糙的分辨率特征图，将空间分辨率上采样2倍（文中使用最近邻上采样）。然后通过逐元素加法将上采样的映射与对应的自下而上的映射（其经历1×1卷积层以减少信道维度）合并。迭代此过程，直到生成最精细的分辨率图。为了开始迭代，首先在最顶层（自下而上最上层）附加1×1卷积层以产生最粗糙的分辨率图。最后，在每个合并的特征图（predict）上附加3×3卷积以生成最终的特征映射，这是为了减少上采样的混叠效应。

---

问题

如图所示，上图输入单张图像，特征金字塔后产生一个特征图，继续进行后续处理。然而采样作者提出的FPN特征金字塔会产生如图的三个特征图，这三个特征图该如何继续后续操作？是分别进行处理还是进行融合/拼接？希望能够得到回答。

---

在文章https://blog.csdn.net/gbyy42299/article/details/81187409中给出了FPN的两种构架，这两种构架在后续处理时都是使用concat将特征图进行拼接，组合成一个大的特征图，或者是说怎么对特征图进行处理随研究者的意？两种构架分别如下：

（1）megred rcnn

（2）shared rcnn