深度学习笔记（3）-pytorch模型训练流程&实现小GPU显存跑大Batchsize

最新推荐文章于 2024-04-21 17:43:23 发布

高不胖

最新推荐文章于 2024-04-21 17:43:23 发布

阅读量2.1k

点赞数 5

文章标签：深度学习人工智能神经网络

本文链接：https://blog.csdn.net/weixin_38296549/article/details/121522849

版权

本文介绍了PyTorch深度学习模型的训练流程，包括optimizer.zero_grad(), loss.backward(), 和optimizer.step()的使用。同时，针对小GPU显存问题，提出了使用梯度累加来等效增大Batchsize的方法，详细解释了其工作原理和注意事项，以实现更好的模型训练效果。" 108724113,7435727,Ubuntu环境下Python实现YoloV3,"['Python', '深度学习', '目标检测', 'OpenCV', '计算机视觉']

摘要由CSDN通过智能技术生成

近期在进行pytorch模型的训练，对pytorch的流程进行一次简单梳理作为笔记。此外，由于GPU显存有限，数据的Batchsize一般只能到2，而相关资料显示较大的Batchsize有利于提高模型训练效果，经查阅资料，找到通过梯度累加的方式来等效增大Batchsize。

一、pytorch模型训练流程

在用pytorch训练模型时，通常会在遍历epochs的过程中依次用到optimizer.zero_grad(), loss.backward()和optimizer.step()三个函数，如下所示：

model = MyModel()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9, weight_decay=1e-4)
 
for epoch in range(1, epochs):
    for i, (inputs, labels