pytorch 中一个batch的训练过程

最新推荐文章于 2024-07-01 00:15:00 发布

GISer and Coder

最新推荐文章于 2024-07-01 00:15:00 发布

阅读量1.7k

点赞数 1

分类专栏： pytorch

本文链接：https://blog.csdn.net/qq_35762060/article/details/108285247

版权

本文探讨了PyTorch中一个批次的训练流程，重点在于理解在反向传播前为何需要手动清零梯度，以及如何通过梯度累加来缓解显存限制问题。

摘要由CSDN通过智能技术生成

# 一般情况下
optimizer.zero_grad()             # 梯度清零
preds = model(inputs)             # inference，前向传播求出预测值
loss = criterion(preds, targets)  # 计算loss
loss.backward()                   # 反向传播求解梯度
optimizer.step