PyTorch实现梯度累加变相扩大batch

AI洲抿嘴的薯片

已于 2024-10-17 22:04:34 修改

阅读量168

点赞数 2

分类专栏： Pytorch基本知识文章标签： pytorch batch 深度学习

于 2023-05-30 09:46:06 首次发布

本文链接：https://blog.csdn.net/m0_59023219/article/details/130941922

版权

Pytorch基本知识专栏收录该内容

12 篇文章 0 订阅

订阅专栏

当显卡内存有限或无法处理大batch训练时，可以通过调整PyTorch中的梯度计算和参数更新策略。文章介绍了如何在每个小batch后平均损失，积累梯度，然后在每批数据后更新参数，以模拟大batch的效果。

摘要由CSDN通过智能技术生成

本篇文章，主要针对显卡过小或者不容易实现大batch来求梯度更新网络参数

1）常规情况下，pytorch求梯度和进行网络参数更新

    outputs = model(inputs)
    loss = criterion(outputs,inputs)

    optimizer.zero_grad() #清空梯度
    loss.backward()       #反向传播，求梯度
    optimizer.step()      #根据优化器更新网络参数

2）显卡过小或者不容易实现大batch来求梯度更新网络参数，但又想试一下呢，可以按照以下代码进行模拟

    outputs = model(inputs)
    loss = criterion(outputs,inputs)

    loss = loss/batch_size   #相当于平均了loss
    loss.backward()          #求梯度，后面没有马上清0

    if cnt%batch_size==0:
        optimizer.step()     #根据累计到batch_size个梯度，进行网络参数更新
        optimizer.zero_grad()#梯度清0

关注博主即可阅读全文