pytorch自学手册（2）——网络模型创建和torch.nn工具包搭建网络过程中的常用语句总结

神经网络训练过程主要包括以下几个方面：

在network部分，需要搭建网络模型modules，不同功能的layers搭建成了我们所谓的modules（具体参考这篇博客~关于卷积神经网络各层）
也就是说，我们所谓的网络模型需要我们干如下两件事情：
（1）模型创建：构建网络层（卷积、激活、池化）+拼接网络层（Lenet，AlexNet、ResNet）
（2）模型参数初始化：Xavier，Kaiming

那么代码中如何实现呢？就需要我们的torch.nn工具包啦~

模型创建步骤

再来回顾一下我之前博客里出现的图：

至此，我们的搭建模型思路就出来啦~

一.构建子模块（init() ）

1.卷积层

nn.Conv2d(in_channels,
          out_channels,
          kernel_size,
          stride=1,
          padding=0,
          dilation=1,
          groups=1,
          bias=True,
          padding_mode='zeros')

功能：进行二维卷积
• in_channels：输入通道数
• out_channels：输出通道数，等价于卷
积核个数
• kernel_size：卷积核尺寸
• stride：步长
• padding ：填充个数
• dilation：空洞卷积大小
• groups：分组卷积设置
• bias：偏置

nn.ConvTranspose2d(in_channels,
                   out_channels,
                   kernel_size,
                   stride=1,
                   padding=0,
                   output_padding=0,
                   groups=1,
                   bias=True,
                   dilation=1,
                   padding_mode='zeros')

功能：转置卷积实现上采样，参数与卷积一致，不再赘述

2.池化层

nn.MaxPool2d(kernel_size, stride=None,
             padding=0, dilation=1,
             return_indices=False,
             ceil_mode=False)

功能：对二维图像进行最大值池化
• kernel_size：池化核尺寸
• stride：步长
• padding ：填充个数
• dilation：池化核间隔大小
• ceil_mode：尺寸向上取整
• return_indices：记录池化像素索引

nn.AvgPool2d(kernel_size,
             stride=None,
             padding=0,
             ceil_mode=False,
             count_include_pad=True,
             divisor_override=None)

功能：对二维进行平均值池化
• kernel_size：池化核尺寸
• stride：步长
• padding ：填充个数
• ceil_mode：尺寸向上取整
• count_include_pad：填充值用于计算
• divisor_override ：除法因子

3.激活函数层

nn.sigmoid()
nn.tanh()
nn.ReLU()

激活函数一定要接到卷积层后面进行操作

4.全连接层

nn.Linear(in_features, out_features, bias=True)

功能：对一维信号（向量）进行线性组合，所以在拼接子模块之前要有一个拉平操作拉成一维
• in_features：输入结点数
• out_features：输出结点数
• bias ：是否需要偏置

二.拼接子模块（forward() ）

以AlexNet为例，我构建了两个子模块，features和classifier，分别实现基础层和功能层，通过传参实现拼接，其实就是定义前向计算。

 def forward(self, x):
        x = self.features(x) #features是构建了子模块的容器
        x = x.view(x.size(0), 256 * 4 * 4) #拉平操作
        x = self.classifier(x)#classifier是全连接层
        return x

三.参数初始化

nn.init.calculate_gain(nonlinearity, param=None)

主要功能：计算激活函数的方差变化尺度
• nonlinearity: 激活函数名称
• param: 激活函数的参数，如Leaky ReLU
的negative_slop

四.模型容器

1.nn.Sequential（）按顺序调用网络层

nn.Sequential 是 nn.module的容器，用于按顺序包装一组网络层，前面讲了模型各层的创建语句，但是各层之间是独立的，如果想把卷积+激活+池化写作一个整体作为一个子模块，那么就需要Sequential容器来包装啦~
注意：Sequential容器自带forward（），所以包装各层需要严格按照顺序构建。
例如我这里搭建的网络模型，构建了两个容器，分别是feature和classifier：

    def __init__(self, class_num):
        super(AlexNet, self).__init__()
        self.features = nn.Sequential(
            nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=2, stride=2),
            nn.Conv2d(64, 192, kernel_size=3, stride=1, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=2, stride=2),
            nn.Conv2d(192, 384, kernel_size=3, stride=1, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 256, kernel_size=3, stride=1, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(256, 256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=2, stride=2),
        )
        self.classifier = nn.Sequential(
            nn.Dropout(),
            nn.Linear(256 * 4 * 4, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Linear(4096, class_num),
        )

2.nn.ModuleList（）迭代调用网络层

nn.Sequential（）主要用于构建网络的块，如果有大量重复的网络结构块，就可以采用nn.ModuleList（）：
• append()：在ModuleList后面添加网络层
• extend()：拼接两个ModuleList
• insert()：指定在ModuleList中位置插入网络层

3.nn.ModuleDict（）按索引调用网络层

如果有的网络模型想搭建可选择的网络层，就可以用nn.ModuleDict（）来进行搭建。
主要方法：
• clear()：清空ModuleDict
• items()：返回可迭代的键值对(key-value pairs)
• keys()：返回字典的键(key)
• values()：返回字典的值(value)
• pop()：返回一对键值，并从字典中删除