PyTorch学习笔记（10）--搭建简单的神经网络以及Sequential的使用

PyTorch学习笔记（10）–搭建简单的神经网络以及Sequential的使用

    本博文是PyTorch的学习笔记，第10次内容记录，主要搭建一个简单的神经网络，并介绍Sequential的使用。

1.Sequential是什么

    Sequential是一个时序容器。Modules 会以他们传入的顺序被添加到容器中。包含在PyTorch官网中torch.nn模块中的Containers中，在神经网络搭建的过程中如果使用Sequential，代码更简洁。

2.Sequential使用

2.1一个简单神经网络的搭建

    现以下列神经网络的搭建为例，输入图像是3通道的32×32的，先后经过卷积层(5×5的卷积核)、最大池化层(2×2的池化核)、卷积层(5×5的卷积核)、最大池化层(2×2的池化核)、卷积层(5×5的卷积核)、最大池化层(2×2的池化核)、拉直、全连接层的处理，最后输出的大小为10。

    搭建上述神经网络的具体代码如下：

# coding ：UTF-8
# 文件功能： 代码实现搭建神经网络，并结合Sequential的使用
# 开发人员： dpp
# 开发时间： 2021/8/17 11:31 下午
# 文件名称： nn_sequential.py
# 开发工具： PyCharm
import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear


class Test(nn.Module):
    def __init__(self):
        super(Test, self).__init__()
        self.conv1 = Conv2d(in_channels=3, out_channels=32, kernel_size=5, padding=2)
        self.maxpool1 = MaxPool2d(kernel_size=2)
        self.conv2 = Conv2d(in_channels=32, out_channels=32, kernel_size=5, padding=2)
        self.maxpool2 = MaxPool2d(kernel_size=2)
        self.conv3 = Conv2d(in_channels=32, out_channels=64, kernel_size=5, padding=2)
        self.maxpool3 = MaxPool2d(kernel_size=2)
        self.flatten = Flatten()
        self.linear1 = Linear(1024, 64)
        self.linear2 = Linear(64, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = self.maxpool1(x)
        x = self.conv2(x)
        x = self.maxpool2(x)
        x = self.conv3(x)
        x = self.maxpool3(x)
        x = self.flatten(x)
        x = self.linear1(x)
        x = self.linear2(x)
        return x

test = Test()
print(test)  # 输出网络的结构情况

input = torch.ones((64, 3, 32, 32))
output = test(input)
print(output.shape)  # 输出output的尺寸

    输入数据是64张3通道的32×32的全1图像，输出结果如下：

Test(
  (conv1): Conv2d(3, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
  (maxpool1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (conv2): Conv2d(32, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
  (maxpool2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (conv3): Conv2d(32, 64, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
  (maxpool3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (flatten): Flatten(start_dim=1, end_dim=-1)
  (linear1): Linear(in_features=1024, out_features=64, bias=True)
  (linear2): Linear(in_features=64, out_features=10, bias=True)
)
torch.Size([64, 10])

    补充说明：上述代码中在卷积层设置了参数padding=2，这个参数的设置不是随意设置的，是根据下列计算公式，计算得来的：

    其中Hout=32，Hin=32，dilation[0]=1，kernel_size[0]=5，将其带入到Hout的公式，计算过程如下：
32 =((32+2×padding[0]-1×(5-1)-1)/stride[0])+1，简化之后的式子为：
27+2×padding[0]=31×stride[0]，其中stride[0]=1，所以padding[0]=2。

2.2使用Sequential搭建一个神经网络

    现以Sequential搭建上述一模一样的神经网络，并借助tensorboard显示计算图的具体信息。代码如下：

# coding ：UTF-8
# 文件功能： 代码实现搭建神经网络，并结合Sequential的使用
# 开发人员： dpp
# 开发时间： 2021/8/17 11:31 下午
# 文件名称： nn_sequential.py
# 开发工具： PyCharm
import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.tensorboard import SummaryWriter


class Test(nn.Module):
    def __init__(self):
        super(Test, self).__init__()
        self.model1 = Sequential(
            Conv2d(in_channels=3, out_channels=32, kernel_size=5, padding=2),
            MaxPool2d(kernel_size=2),
            Conv2d(in_channels=32, out_channels=32, kernel_size=5, padding=2),
            MaxPool2d(kernel_size=2),
            Conv2d(in_channels=32, out_channels=64, kernel_size=5, padding=2),
            MaxPool2d(kernel_size=2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self, x):
        x = self.model1(x)
        return x

test = Test()
print(test)  # 输出网络的结构情况

input = torch.ones((64, 3, 32, 32))
output = test(input)
print(output.shape)  # 输出output的尺寸

writer = SummaryWriter("logs")
writer.add_graph(test, input)
writer.close()

    在Sequential实现神经网络后，借助Tensorboard查看神经网络对应的计算图结构，代码输出结果如下：

Test(
  (model1): Sequential(
    (0): Conv2d(3, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
    (1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (2): Conv2d(32, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
    (3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (4): Conv2d(32, 64, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
    (5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (6): Flatten(start_dim=1, end_dim=-1)
    (7): Linear(in_features=1024, out_features=64, bias=True)
    (8): Linear(in_features=64, out_features=10, bias=True)
  )
）
torch.Size([64, 10])

    在Tensorboard中查看计算图结果如下：

    在计算图上点击相应节点，能查看到数据的具体流向和数据细节信息。点开Test节点，查看到如下细节：

3.学习小结

    在本文中以一个具体的神经网络搭建为例，同时借助了Sequential简化了神经网络搭建过程，并在Tensorboard中查看神经网络计算图的详细信息，在下一篇博文，将介绍损失函数与反向传播。