卷积神经网络—FPN

FPN (Feature Pyramid Networks)

特征金字塔网络，用来提取不同尺度特征图，提供给后面的网络执行预测任务。

FPN的论文链接： https://arxiv.org/abs/1612.03144
论文翻译：https://blog.csdn.net/itlilyer/article/details/108952700

一、几种金字塔方案

        

(a)为特征图像金字塔结构，检测不同尺度目标时会将图片进行缩放，对每个尺度的图片都预测。

优点：创建的多尺度特征的所有层次都包含很强的语义特征，包括高分辨率的层次；精度高。

缺点：需要大量算力和内存空间，速度慢；常用于测试阶段，会导致了训练和测试的不一致。

(b)为单一特征图结构，将图片通过backbone得到最终特征图，在最终特征图上进行预测。在Fast R-CNN和Faster R-CNN中默认的配置没有使用图像金字塔，使用了图中第二种金字塔，但只取了最后一层特征，使用了最后卷积层的结果。(小目标×)

(c) SSD网络中使用的是第三种金字塔，为金字塔特征层次结构，将图片输入backbone，在backbone正向传播过程中得到的不同的特征图上分别进行预测。(小目标×)

(d)为特征图金字塔网络，也就是主角FPN，将不同特征图上的特征进行融合，在融合之后的特征图上再进行预测。FPN是一个利用深度卷积神经网络中固有的多尺度特征图，通过加入侧向连接和上采样，来以极小的附加计算量构建不同尺度的具有高级语义信息的特征金字塔的网络结构。

自下向上：深度卷积网络的前向提取特征的过程。

自上而下：对最后卷积层的特征图进行上采样的过程。

横向连接：融合深层的卷积层特征和浅层卷积特征的过程。

融合了深层卷积层的高级别特征和浅层卷积层的低级别特征，因此对小物体也有很好的检测效果。对于目标检测模型而言，FPN结构并不是模型中独立的一个模块，而是作为原始Backbone的附加项，融合在卷积神经网络之中。

二、FPN计算过程

在FPN中采用的不同的特征图需要选取都是2倍关系。

例如最底层的特征图大小为28x28，则其上一层的特征图大小为14x14，最上层的为7x7。

1.自下而上：取深度卷积网络,即backbone网络中每个stage的输出作为金字塔的一个层。

2.自上而下：将空间信息少但语义信息强的最深层卷积层的输出，即上面的C5进行2倍的上采样。分别记为{T2 , T3 , T4 , T5}，首先将C5执行1x1的卷积得到T5，T4等于T5的上采样，依次类推。这样T3 , T4 , T5分别和C3 , C4 , C5对应。

好处：既利用了顶层较强的语义特征（利于分类），又利用了底层的高分辨率信息（利于定位）

3.横向连接：将1和2的结果merge。首先将{C2 , C3 , C4 , C5}执行1x1的卷积来降低通道的维度，使其与{T2 , T3 , T4 , T5}对应。

4.在融合得到的结果后面接一个3x3的卷积来减轻上采样的混叠效应（aliasing effect）。

三、FPN结构

将FPN的各个特征层类比为图像金字塔的各个level的特征，从而将不同尺度的RoI映射到对应的特征层上。以224大小的图片输入为例，宽高为w和h的RoI将被映射到的特征级别为k。

1.在ResNet中，k0的值为4，对应长宽为224的框所在层次。如果框的长宽相对于224分别除以2，那么k的值将减1，以此类推。如（k=4+(-1)）向下取整得k=3。

2.在Faster RCNN中，ResNet的conv4层被用来提取RoI，经过RoI Pooling后映射到14x14大小。经过RoI Pooling后的特征再进入原来的conv5层，从而得到最终的分类和边框回归结果。

3.在FPN中，conv5层已经被用来作为特征提取器得到P5层；因此，这里单独设计两个1024维的全连接层作为检测网络的网络头部。新的网络头部是随机初始化，相比于原来的conv5层更轻量级。