PyTorch学习笔记（1）nn.Sequential、nn.Conv2d、nn.BatchNorm2d、nn.ReLU和nn.MaxPool2d

一、nn.Sequential

torch.nn.Sequential是一个Sequential容器，模块将按照构造函数中传递的顺序添加到模块中。
使用方式：

1. 一个有序的容器，神经网络模块将按照在传入构造器的顺序依次被添加到计算图中执行，
2. 以神经网络模块为元素的有序字典（OrderedDict）也可以作为传入参数。
3. 也可以利用add_module函数将特定的神经网络模块插入到计算图中。

官方给出案例（上面所提的方式1 和 方式2的列子）：

# Sequential使用实例

model = nn.Sequential(
          nn.Conv2d(1,20,5),
          nn.ReLU(),
          nn.Conv2d(20,64,5),
          nn.ReLU()
        )

# Sequential with OrderedDict使用实例
model = nn.Sequential(OrderedDict([
          ('conv1', nn.Conv2d(1,20,5)),
          ('relu1', nn.ReLU()),
          ('conv2', nn.Conv2d(20,64,5)),
          ('relu2', nn.ReLU())
        ]))

以上两种形式为一致。一种自动命名，一种指定名字。
验证：
需要在pytorch环境下运行。
先添加：

import torch.nn as nn
from collections import OrderedDict

打印模型输出：

print(model)
---------------------------------------------------------
Sequential(
  (0): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1))
  (1): ReLU()
  (2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))
  (3): ReLU()
)

使用torch.nn.Sequential可以快速的搭建一个神经网络

为比较，先用普通方法搭建一个神经网络来对比

class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(n_feature, n_hidden)
        self.predict = torch.nn.Linear(n_hidden, n_output)

    def forward(self, x):
        x = F.relu(self.hidden(x))
        x = self.predict(x)
        return x

net1 = Net(1, 10, 1)

上面class继承了一个torch中的神经网络结构, 然后对其进行了修改；
接下来我们来使用torch.nn.Sequential来快速搭建一个神经网络。

net2 = torch.nn.Sequential(
    torch.nn.Linear(1, 10),
    torch.nn.ReLU(),
    torch.nn.Linear(10, 1)
)

打印输出上面2个神经网络数据，查看区别:

print(net1)
--------------------------------------------