一、前言
前面有写过关于lenet5的博客,若对lenet5可以自行查看https://blog.csdn.net/weixin_45579930/article/details/112277024
二、定义神经网络
- 首先我们定义一个类,这个类继承nn.module父类
- 在这个类中定义两个方法:
- 一个是初始化函数实现搭建网络过程中网络层结构
- 一个是在forward函数中定义正向传播的过程,按照forward进行运行
进行定义神经网络:
import torch
import torch.nn as nn
import torch.nn.functional as F
class LeNet(nn.Module):
def __init__(self):
super(LeNet, self).__init__()
self.conv1 = nn.Conv2d(3, 16, 5)
self.pool1 = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(16, 32, 5)
self.pool2 = nn.MaxPool2d(2, 2)
self.fc1 = nn.Linear(32 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
x = F.relu(self.conv1(x)) # input(3, 32, 32) output(16, 28, 28)
x = self.pool1(x) # output(16, 14, 14)
x = F.relu(self.conv2(x)) # output(32, 10, 10)
x = self.pool2(x) # output(32, 5, 5)
x = x.view(-1, 32 * 5 * 5) # output(32*5*5)
x = F.relu(self.fc1(x)) # output(120)
x = F.relu(self.fc2(x)) # output(84)
x = self.fc3(x) # output(10)
return x
input1 = torch.rand([32, 3, 32, 32])
model = LeNet()
print(model)
output = model(input1)
输出:
LeNet(
(conv1): Conv2d(3, 16, kernel_size=(5, 5), stride=(1, 1))
(pool1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(conv2): Conv2d(16, 32, kernel_size=(5, 5), stride=(1, 1))
(pool2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(fc1): Linear(in_features=800, out_features=120, bias=True)
(fc2): Linear(in_features=120, out_features=84, bias=True)
(fc3): Linear(in_features=84, out_features=10, bias=True)
)
关于上述代码我们进行详解:
2.1.定义卷积层nn.Conv2d
- 1.首先我们可以使用command+左键进行查看释义
torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')
-
2.我们对此含义进行解释:
- in_channels:输入特征矩阵的深度,通道一般分为3个通道,有rgb(红、绿和蓝)三种。我们这边使用的是灰色图片所以,in_channels是1。
- out_channel:卷积核的个数,使用n个卷积核输出的特征矩阵深度就是n。
- kernel_size:卷积核大小。可以是int类型,如3 代表卷积核的height=width=3,也可以是tuple类型如(3, 5)代表卷积核的height=3,width=5。
- stride:步长,默认是为1。下面的动画演示了卷积运算过程中的一个 (1,1) 步长。
- padding:补0,默认为0,在不足的地方进行补0处理。
- bias:偏值,距离原点的截距或偏移。
经卷积后的输出层尺寸的计算公式:
2.1.1卷积层nn.Conv2d代码部分详解
# 1.3是代表输入特征层的一个深度
# 2.16代表卷积核
# 3.5尺寸是5✖️5
self.conv1 = nn.Conv2d(3, 16, 5)
# 1.使用激活函数relu
# 2.input(3, 32, 32) 代表3✖️32✖️32大小的
# 3.output(16, 28, 28) 代表使用的是16卷积核 深度channel所以也为16 28是因为N=(W-F+2P)/S+1 (32-5+2✖️0)/1+1=28
x = F.relu(self.conv1(x))
2.定义下采样层nn.MaxPool2d
- 1.首先我们使用command+左键进行查看释义
- 2.由于MaxPool2d继承_MaxPoolNd,我们再次command+左键进行查看释义
- 3.我们对此含义进行解释:
- kernel_size:池化层大小
- stride:布长,if (stride is not None) else kernel_size,如果不采用步长,那么就采用池化层一样的大小
3.定义全连接层nn.Linear
Linear(in_features, out_features, bias=True)
我们将上述代码进行详解:
# 全连接层输入是一纬向量 需要将我们得到的特征矩阵进行展平
# 节点120
self.fc1 = nn.Linear(32*5*5, 120)
# 84个节点
self.fc2 = nn.Linear(120, 84)
# 10是因为我们使用的是cf10具有是个类别的训练集
self.fc3 = nn.Linear(84, 10)
4.定义Tensor的展平:view()
注意到,在经过第二个池化层后,数据还是一个三维的Tensor (32, 5, 5),需要先经过展平后(3255)再传到全连接层:
x = self.pool2(x) # output(32, 5, 5)
x = x.view(-1, 32*5*5) # output(32*5*5)
x = F.relu(self.fc1(x)) # output(120)