Pytorch_6 损失函数、反向传播、torch.optim

学习目标：

损失函数

损失函数的输入是一个输入的pair: (output, target), 然后计算出一个数值来评估output和target之间的差距大小.

在torch.nn中有若干不同的损失函数可供使用, 比如nn.MSELoss就是通过计算均方差损失来评估输入和目标值之间的差距.

反向传播(backpropagation)

在Pytorch中执行反向传播非常简便, 全部的操作就是loss.backward().
在执行反向传播之前, 要先将梯度清零, 否则梯度会在不同的批次数据之间被累加。

更新网络参数 torch.optim

学习内容：

损失函数

1、应用nn.MSELoss计算损失的一个例子，承上

input = torch.randn(1, 1, 32, 32)
output = net(input)
# 1行10列的一维向量
target = torch.randn(10)
# 改变target的形状为二维张量, 为了和output匹配
target = target.view(1, -1)
criterion = nn.MSELoss()
loss = criterion(output, target) # 成对出现
print('loss', loss)

loss tensor(0.6161, grad_fn=<MseLossBackward>)

target：

tensor([ 0.1960,  0.4792, -0.2190,  0.0378, -2.2306,  0.8693,  0.3163, -0.8885,
        -0.4302, -2.1175])

2、 关于方向传播的链条
如果我们跟踪loss反向传播的方向, 使用.grad_fn属性打印, 将可以看到一张完整的计算图如下:

input -> conv2d -> relu -> maxpool2d -> conv2d -> relu -> maxpool2d
-> view -> linear -> relu -> linear -> relu -> linear
-> MSELoss
-> loss

当调用loss.backward()时, 整张计算图将对loss进行自动求导, 所有属性
requires_grad=True的Tensors都将参与梯度求导的运算, 并将梯度累加到
Tensors中的.grad属性中.

print(loss.grad_fn) # MSELoss 他的上一层如下
print(loss.grad_fn.next_functions[0][0]) # Linear 他的上一层如下
print(loss.grad_fn.next_functions[0][0].next_functions[0][0]) # ReLU

<MseLossBackward object at 0x000001F7E0A54788> # 
<AddmmBackward object at 0x000001F7DCE9EA08> # 全连接线性层
<AccumulateGrad object at 0x000001F7E0A54788> # relu

3、 掌握条件语句
4、 掌握循环语句

反向传播☆

# 先将梯度清零
net.zero_grad()
print('conv1.bias.grad before backward')
# 未对梯度grad进行赋值，未求导，0
print(net.conv1.bias.grad)
# Pytorch中执行一次反向传播的代码，更新grad中的值
loss.backward()
print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)

conv1.bias.grad before backward
None
conv1.bias.grad after backward
tensor([-0.0019, -0.0098,  0.0037,  0.0020,  0.0046,  0.0019])

更新网络参数 torch.optim

• 更新参数最简单的算法就是SGD(随机梯度下降).
• 具体的算法公式表达式为:
  weight = weight - learning_rate * gradient
  传统的Python代码来实现SGD

learning_rate = 0.01
for f in net.parameters():
	f.data.sub_(f.grad.data * learning_rate)

使用Pytorch官方推荐的标准代码

# 首先导入优化器的包, optim中包含若干常用的优化算法, 比如SGD, Adam等
import torch.optim as optim
# 通过optim创建优化器对象，学习率0.01
optimizer = optim.SGD(net.parameters(), lr=0.01)
# 将优化器执行梯度清零的操作
optimizer.zero_grad()
output = net(input)
loss = criterion(output, target)
# 对损失值执行反向传播的操作，即计算python 的 f.grad
loss.backward()
# 参数的更新通过一行标准代码来执行
optimizer.step() # ==f.data.sub_(f.grad.data * learning_rate)

必备代码：
optimizer.zero_grad()
loss.backward()
optimizer.step()

学习时间：

抽出来的时间。

学习产出：