PyTorch中的网络参数更新基本流程

import torch
import torch.nn.functional as F

#-------------------------------------------------#
# 1. 将梯度初始化为0,把loss关于weight的导数变为0
# 2. 将加载好的数据传入模型中,前向传播出模型预测的值
# 3. 进行loss的求解
# 4. 反向传播求解梯度,得到每个参数的梯度值
# 5. optimizer进行所有参数的更新,通过梯度下降的方法
#-------------------------------------------------#
optimizer.zero_grad()
output = model(data)
loss = F.crossentropy(output, label)
loss.backward()
optimizer.step()

特别注意：
1. 由于backward()的使用,当网络参数进行反馈的时候,梯度是被积累的而不是被替换的。
2. 在每一个batch中,毫无疑问地是不需要将多个batch的梯度混合起来进行累积,因此我们需要在每一个batch中设置一遍zero_grad。
3. step()函数的作用是执行一次优化步骤，通过梯度下降法来更新参数的值。因为梯度下降是基于梯度的，所以在执行optimizer.step()函数前应先执行loss.backward()函数来计算梯度。
4. optimizer只负责通过梯度下降进行优化，而不负责产生梯度，梯度是tensor.backward()方法产生的。