Backbone 之 FPN：特征金字塔 （Pytorch实现及代码解析）

首先对C5进行1×1卷积降低通道数得到P5，然后依次进行上采样得到P4、P3和P2，目的是得到与C4、C3与C2长宽相同的特征，以方便下一步进行逐元素相加。这里采用2倍最邻近上采样，即直接对临近元素进行复制，而非线性插值。

横向连接（Lateral Connection）：

目的是为了将上采样后的高语义特征与浅层的定位细节特征进行融合。高语义特征经过上采样后，其长宽与对应的浅层特征相同，而通道数固定为256，因此需要对底层特征C2至C4进行11卷积使得其通道数变为256，然后两者进行逐元素相加得到P4、P3与P2。由于C1的特征图尺寸较大且语义信息不足，因此没有把C1放到横向连接中。

卷积融合：

在得到相加后的特征后，利用3×3卷积对生成的P2至P4再进行融合，目的是消除上采样过程带来的重叠效应，以生成最终的特征图。

如何选择特征图：

对于实际的物体检测算法，需要在特征图上进行**RoI（Region of Interests，感兴趣区域）**提取，而FPN有4个输出的特征图，选择哪一个特征图上面的特征也是个问题。FPN给出的解决方法是，对于不同大小的RoI，使用不同的特征图，大尺度的RoI在深层的特征图上进行提取，如P5，小尺度的RoI在浅层的特征图上进行提取，如P2。

FPN将深层的语义信息传到底层，来补充浅层的语义信息，从而获得了高分辨率、强语义的特征，在小物体检测、实例分割等领域有着非常不俗的表现。

具体代码：

import torch.nn as nn

import torch.nn.functional as F

import math

​

##先定义ResNet基本类，或者可以说ResNet的基本砖块

class Bottleneck(nn.Module):

expansion = 4   ##通道倍增数

def init(self, in_planes, planes, stride=1, downsample=None):

super(Bottleneck, self).init()

self.bottleneck = nn.Sequential(

nn.Conv2d(in_planes, planes, 1, bias=False),

nn.BatchNorm2d(planes),

nn.ReLU(inplace=True),

nn.Conv2d(planes, planes, 3, stride, 1, bias=False),

nn.BatchNorm2d(planes),

nn.ReLU(inplace=True),

nn.Conv2d(planes, self.expansion * planes, 1, bias=False),

nn.BatchNorm2d(self.expansion * planes),

)

self.relu = nn.ReLU(inplace=True)

self.downsample = downsample

def forward(self, x):

identity = x

out = self.bottleneck(x)

if self.downsample is not None:

identity = self.downsample(x)

out += identity

out = self.relu(out)

return out

​

##FPN类

class FPN(nn.Module):

def init(self, layers):

super(FPN, self).init()

self.inplanes = 64

###下面四句代码代表处理输入的C1模块–对应博客中的图

self.conv1 = nn.Conv2d(3, 64, 7, 2, 3, bias=False)

self.bn1 = nn.BatchNorm2d(64)

self.relu = nn.ReLU(inplace=True)

self.maxpool = nn.MaxPool2d(3, 2, 1)

###搭建自下而上的C2,C3,C4,C5

self.layer1 = self._make_layer(64, layers[0])

self.layer2 = self._make_layer(128, layers[1], 2)

self.layer3 = self._make_layer(256, layers[2], 2)

self.layer4 = self._make_layer(512, layers[3], 2)

###定义toplayer层，对C5减少通道数，得到P5

self.toplayer = nn.Conv2d(2048, 256, 1, 1, 0)

###代表3*3的卷积融合，目的是消除上采样过程带来的重叠效应，以生成最终的特征图。

self.smooth1 = nn.Conv2d(256, 256, 3, 1, 1)

self.smooth2 = nn.Conv2d(256, 256, 3, 1, 1)

self.smooth3 = nn.Conv2d(256, 256, 3, 1, 1)

###横向连接，保证通道数目相同

self.latlayer1 = nn.Conv2d(1024, 256, 1, 1, 0)

self.latlayer2 = nn.Conv2d( 512, 256, 1, 1, 0)

self.latlayer3 = nn.Conv2d( 256, 256, 1, 1, 0)

##作用：构建C2-C5砖块，注意stride为1和2的区别：得到C2没有经历下采样

def _make_layer(self, planes, blocks, stride=1):

downsample = None

if stride != 1 or self.inplanes != Bottleneck.expansion * planes:

downsample = nn.Sequential(

nn.Conv2d(self.inplanes, Bottleneck.expansion * planes, 1, stride, bias=False),

nn.BatchNorm2d(Bottleneck.expansion * planes)

)

###初始化需要一个list，代表左侧网络ResNet每一个阶段的Bottleneck的数量