Resnet 代码详解

为了分析网络结构： 下载了 netron

snap install netron # 系统 ubuntu

图1 Resnet 整体架构

上图中，[ ] 表示一个 block 。

对于 18/34 层 Resnet

block 在官方代码中为： BasicBlock 。BasicBlock 根据 identity 是否 下采样 分为两种。在上图中，绿色箭头部分 即 conv3_1, conv4_1, and conv5_1 处 identity 进行 下采样，实现： (1x1 conv, s=2) ，并且每次通道翻倍。在 代码中，通过 传入 _make_layer 的 stride 是否为 1 确定。

对于 50/101/152 层 Resnet

block 在官方代码中为： Bottleneck 。Bottleneck 根据 identity 是否 下采样 分为两种。在图1 中，绿色箭头部分 即 conv3_1, conv4_1, and conv5_1 处 identity 进行 下采样，实现： (1x1 conv, s=2) ，并且每次通道翻倍。在 代码中，通过 传入 _make_layer 的 stride 是否为 1 确定。

 注：对于 50/101/152 层 Resnet，根据 图1 可知通过 3x3的max pool之后输出的特征矩阵shape应该是[56, 56, 64]，但我们conv2_x 所对应的主分支的输出特征矩阵shape是[56, 56, 256]。所以第一层残差结构需要将shape从[56, 56, 64] --> [56, 56, 256]。注意，这里只调整channel维度，高和宽不变（而conv3_1, conv4_1, conv5_1所对应的一系列残差结构的第一层虚线残差结构不仅要channel加倍+高宽减半）。

代码：

if stride != 1 or self.inplanes != planes * block.expansion:
    downsample = nn.Sequential(
        conv1x1(self.inplanes, planes * block.expansion, stride),
        nn.BatchNorm2d(planes * block.expansion),
    )

self.inplanes != planes * block.expansion ： 64！= 64 * 4

 参考：

resnet论文

torchvision.models — Torchvision 0.11.0 documentation