【pytorch】实现ResNet残差模块 对照网络结构图手动编写

ResNet的出现主要解决了梯度消失的问题。ResNet拟合残差而不拟合网络。Bottleneck为一个残差模块：特别注意的是，当Bottleneck输入输出通道数不同时，旁支shortcut先过个1x1的卷积，调整输出通道后，再与主干输出相加。
这种Bottleneck的结构图为：

pytorch代码为：

#lambda只能跟表达式
cnnWithReluAndBn=lambda indim,outdim,ksize,padding,hasRelu=True:\
        nn.Sequential(nn.Conv2d(indim,outdim,kernel_size=ksize,padding=padding),nn.BatchNorm2d(outdim),nn.ReLU(True))\
    if hasRelu else nn.Sequential(nn.Conv2d(indim,outdim,kernel_size=ksize,padding=padding),nn.BatchNorm2d(outdim))
#可用pycharm中code中的generater功能实现：
class myCustomerBottleneckForResNet(nn.Module):
    #indim,outdim为输入及输出的通道数：
    def __init__(self):
        super().__init__()
        self.mainBranch=[]
        self.shortCut=[]
        #构造主干网络,先经一个降采样调整输出特征图的大小为28，其余操作均不改变特征图的大小,最后输出不带Relu，加和后统一Relu
        self.mainBranch=nn.Sequential(nn.AdaptiveAvgPool2d(28),cnnWithReluAndBn(64,128,1,0),cnnWithReluAndBn(128,128,3,1),
                                      cnnWithReluAndBn(128,128,1,0,False))
        self.shortCut=nn.Sequential(nn.AdaptiveAvgPool2d(28),cnnWithReluAndBn(64,128,1,0,False))
        self.Relu=nn.ReLU(True)
    def forward(self,x):
        x1 = self.mainBranch(x)
        x2 = self.shortCut(x)
        return self.Relu(x1+x2)

myNet=myCustomerBottleneckForResNet()
print(myNet)

输出结果为：

myCustomerBottleneckForResNet(
  (mainBranch): Sequential(
    (0): AdaptiveAvgPool2d(output_size=28)
    (1): Sequential(
      (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(1, 1))
      (1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (2): ReLU(inplace=True)
    )
    (2): Sequential(
      (0): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (2): ReLU(inplace=True)
    )
    (3): Sequential(
      (0): Conv2d(128, 128, kernel_size=(1, 1), stride=(1, 1))
      (1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    )
  )
  (shortCut): Sequential(
    (0): AdaptiveAvgPool2d(output_size=28)
    (1): Sequential(
      (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(1, 1))
      (1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    )
  )
  (Relu): ReLU(inplace=True)
)