PyTorch中的网络参数更新基本流程

最新推荐文章于 2023-11-21 13:54:28 发布

XuecWu3

最新推荐文章于 2023-11-21 13:54:28 发布

阅读量339

点赞数

文章标签： pytorch 人工智能 python 神经网络

本文链接：https://blog.csdn.net/m0_47623548/article/details/131550861

版权

该段代码展示了在PyTorch中进行深度学习训练的基本步骤：初始化梯度，前向传播，计算损失，反向传播求梯度，然后用优化器更新参数。每个batch结束时需清零梯度，防止梯度积累。优化器仅负责依据梯度更新权重，不生成梯度。

摘要由CSDN通过智能技术生成

import torch
import torch.nn.functional as F

#-------------------------------------------------#
# 1. 将梯度初始化为0,把loss关于weight的导数变为0
# 2. 将加载好的数据传入模型中,前向传播出模型预测的值
# 3. 进行loss的求解
# 4. 反向传播求解梯度,得到每个参数的梯度值
# 5. optimizer进行所有参数的更新,通过梯度下降的方法
#-------------------------------------------------#
optimizer.zero_grad()
output = model(data)
loss = F.crossentropy(output, label)
loss.backward()
optimizer.step()

特别注意：
1. 由于backward()的使用,当网络参数进行反馈的时候,梯度是被积累的而不是被替换的。
2. 在每一个batch中,毫无疑问地是不需要将多个batch的梯度混合起来进行累积,因此我们需要在每一个batch中设置一遍zero_grad。
3. step()函数的作用是执行一次优化步骤，通过梯度下降法来更新参数的值。因为梯度下降是基于梯度的，所以在执行optimizer.step()函数前应先执行loss.backward()函数来计算梯度。
4. optimizer只负责通过梯度下降进行优化，而不负责产生梯度，梯度是tensor.backward()方法产生的。