pytorch搭建神经网络
torch.nn 只支持小批量输入。整个 torch.nn 包都只支持小批量样本,而不支持单个样本。 例如,nn.Conv2d 接受一个4维的张量, 每一维分别是sSamples * nChannels * Height * Width(样本数*通道数*高*宽)。 如果你有单个样本,只需使用 input.unsqueeze(0) 来添加其它的维数
torch.Tensor:一个用于自动调用backward()实现自动梯度计算的多维数组,并且保存关于这个相对梯度。
nn.Module:神经网络模块。封装参数,移动到GPU运行,导出,加载等。
nn.Parameter:一种变量,输出Module中的参数
autograd.Function:实现一个自动求导操作的前向和反向定义,每个变量操作至少创建一个函数节点,每一个Tensor的操作都回创建一个接到创建Tensor和 编码其历史 的函数的Function节点。
说明1
:class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)
in_channels是输入的通道大小,out_channels是输出通道大小,kernel_size是卷积核的大小,stride步长,卷积时移动距离,padding卷积操作否补0
输入为:(N, C i n C_{in} Cin,H,W)N表示Batchsize, C i n C_{in} Cin表示输入的通道数,H,W表示输入特征图的高和宽
输出:(N, C o u t C_{out} Cout, H o u t H_{out} Hout, W o u t W_{out} Wout) C o u t C_{out} Cout表示out_channels,
说明2
torch.nn.Linear(in_features,out_features,bias=True)
设置网络中的全连接层,全连接层的输入,输出都是二维张量,一般形状为[batch_size,size],不同卷积层要求输入输出是四维张量
in_features指输入的[batchsize,size]中的size,out_features输出张量的大小也代表了全连接层神经元的个数
说明3
神经网络的典型训练过程如下:
1,定义神经网络模型
2,在数据集上迭代
3.通过神经网络处理输入
4,计算损失函数
5,梯度回传
6,更新网络参数
nn.Module搭建神经网络
import torch
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
# 1 input image channel, 6 output channels, 5x5 square convolution
# kernel
self.conv1 = nn.Conv2d(1, 6, 5)
self.conv2 = nn.Conv2d(6, 16, 5)
# an affine operation: y = Wx + b
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
#在模型中必须定义forwarded函数,backward函数(用来计算梯度)会被autograd自动创建
def forward(self, x):
# Max pooling over a (2, 2) window
x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
# If the size is a square you can only specify a single number
x = F.max_pool2d(F.relu(self.conv2(x)), 2)
x = x.view(-1, self.num_flat_features(x))
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
def num_flat_features(self, x):
size = x.size()[1:] # all dimensions except the batch dimension,[16,5,5]
num_features = 1
for s in size:
num_features *= s
return num_features
net = Net()
print(net)
神经网络输入
#net.parameters()返回可被学习的参数(权重)列表和值
params=list(net.parameters())
print(len(params))
print(params[0].size())#conv1权重
#10
#torch.Size([6, 1, 5, 5])
#测试随机输入32×32。 注:这个网络(LeNet)期望的输入大小是32×32,如果使用MNIST数据集来训练这个网络,请把图片大小重新调整到32×32。
input=torch.randn(1,1,32,32)
out=net(input)
print(out)
#tensor([[ 0.0869, -0.0462, -0.0284, 0.0485, -0.1443, 0.0102, -0.1023, 0.0769,
0.0384, -0.0479]], grad_fn=<AddmmBackward>)
损失函数
一个损失函数接受一对(output,target)作为输入,用于计算网络的输出与目标值的差距。
output = net(input)
target = torch.randn(10) # 随机值作为样例
target = target.view(1, -1) # 使target和output的shape相同
criterion = nn.MSELoss()
loss = criterion(output, target)
print(loss)
tensor(0.8109, grad_fn=<MseLossBackward>)
计算图过程
input -> conv2d -> relu -> maxpool2d -> conv2d -> relu -> maxpool2d
-> view -> linear -> relu -> linear -> relu -> linear
-> MSELoss
-> loss
当调用loss.backward()时,整个计算图都会根据loss进行微分,而图中所有设置维requires_grad=True的张量将会拥有一个随着梯度累计的.grad张量
反向传播
调用loss.backward()实现反向传播
调用前需要清楚已存在的梯度,否则会被加到已存在的梯度
net.zero_grad() # 清除梯度
print('conv1.bias.grad before backward')
print(net.conv1.bias.grad)
loss.backward()
print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)
conv1.bias.grad before backward
tensor([0., 0., 0., 0., 0., 0.])
conv1.bias.grad after backward
tensor([ 0.0051, 0.0042, 0.0026, 0.0152, -0.0040, -0.0036])
更新网络权重
PyTorch中构建了一个包torch.optim
实现了所有的这些规则
其中,最简单的权重更新规则是随机梯度下降(SGD):
weight = weight - learning_rate * gradient
weight = weight - learning_rate * gradient
参考:
pytorch_handbook