关于FPN（特征金字塔网络）层间融合的理解

FPN层间融合的个人理解
Feature Pyramid Networks for Object Detection
论文链接: https://arxiv.org/abs/1612.03144.
盗图如下链接: https://blog.csdn.net/WZZ18191171661/article/details/79494534.

1.图像特征金字塔简述
最早的图像特征金字塔 来源于 SIFT(尺度不变，特征变换) 然后 HOG(方向梯度直方图)，模仿人看东西远近不同的大小尺度，同时不同尺度，特征信息不同，可以说比单一尺度的图像特征信息更丰富。

FPN，是使用，神经网络中不同层(即不同尺度)的特征图作为图像特征金字塔中的不同level。

上图为论文图片加了序号，也有层间融合的简要计算过程

图像中存在不同尺寸的目标，而不同的目标具有不同的特征，利用浅层的特征就可以将简单的目标的区分开来；利用深层的特征可以将复杂的目标区分开来。
FPN，使不同尺度的特征融合，
通过融合了多层特征信息，效果更好

2.FPN层间融合计算过程
层间融合简要步骤：

1. 因为是神经网络，尺度大的特征层（如特征金字塔对应level2） 可能有几十或几百层的通道 使用 1*1 conv 减少通道数，应该是减少到channel=1
2. 尺度小的特征层（如特征金字塔对应level4），使用上采样（如最邻近差值，论文所提）
3. 特征金字塔 level2 / level4 经变换（第1，2步）后，尺度大小一样，且厚度1，然后对应位置特征点相加生成level5

3.FPN之后
之后的输出，就和fast-rcnn结合（roi pooling），或是faster-rcnn的rpn结合，成完整训练网络了