Pytorch中的梯度累加

最新推荐文章于 2024-05-24 17:43:30 发布
最新推荐文章于 2024-05-24 17:43:30 发布
阅读量1.5k 收藏 6
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41657873/article/details/117214719
版权
当GPU显存不足以处理大batch_size时，采用Pytorch中的梯度累加策略。通过设置accumulation_steps=4，将batch size减小到8，依然能获得原先32 batch的效果，有效缓解显存压力。
摘要由CSDN通过智能技术生成

在实验时，由于GPU显存限制，遇到batch_size不能再增大的情况。为解决该问题，使用梯度累加方法：

不进行梯度累加的方法如下：

for i,(images,target) in enumerate(train_loader):
    # 1. input output
    images = images.cuda(non_blocking=True)
    target
最低0.47元/天 解锁文章
Arxan_hjw
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Pytorch获取中间变量的梯度
知识搬运者
06-30 1325
可以看到当进行反向传播后，只保留了x的梯度tensor(24.)，而y的梯度没有保留所以为None。 但有时我们需要得到模型中间变量的梯度（如绘制Grad-CAM图时），接下来介绍两种获取中间变量梯度的方法： 可以看到此时x和y的梯度都可以获得，使用此方法时不用执行.backward()。 方法二：torch.Tensor.register_hook() 在执行反向传播之前，对需要求梯度的中间变量执行.register_hook()，便可获得该中间变量的梯度
Pytorch入门
weixin_40565876的博客
05-12 190
1. 什么是Pytorch,为什么选择Pytorch? PyTorch 是一个基于 Python 的科学计算包，主要定位两类人群： NumPy 的替代品，可以利用 GPU 的性能进行计算。 深度学习研究平台拥有足够的灵活性和速度 2. 配置Python环境 进入Anaconda官网https://www.anaconda.com/download/，选择Python3.7的安装包进行下载，...
【Pytorch】梯度累积原理与实现
豆芽菜
10-13 7311
深度学习训练的时候，数据的batch size大小受到GPU内存限制，batch size大小会影响模型最终的准确性和训练过程的性能。在GPU内存不变的情况下，模型越来越大，那么这就意味着数据的batch size智能缩小，这个时候，梯度累积（Gradient Accumulation）可以作为一种简单的解决方案来解决这个问题。
FCOS 代码 （train过程）
allrubots的博客
06-01 963
原代码采用的训练集是 coco_2014_train DATASETS: TRAIN: ("coco_2014_train", "coco_2014_valminusminival") TEST: ("coco_2014_minival",) 以及ResNet网络的预训练 WEIGHT: "catalog://ImageNetPretrained/MSRA/R-50" 1. train_net.py (1) main() 函数 def main(): pa...
Pytorch入门（7）—— 梯度累加（Gradient Accumulation）
最新发布
佚失的诗篇
05-24 1561
本文介绍梯度累加技巧及其pytorch实现。该技巧通过延迟参数更新时机，允许模型在显存容量有限时使用更大的等效batch size进行训练
pytorch 利用Dataset读取数据报错
josenxiao的博客
10-06 7514
1、报错点如下： Traceback (most recent call last): File "read_data.py", line 100, in <module> for i , (image,seg) in enumerate(train_loader): File "/usr/local/lib/python3.6/dist-packages/torc...
记录mask-rcnn的复现所遇到的问题
qq_52135754的博客
10-31 687
mask-rcnn复现问题记录
pytorch 梯度累积（gradient accumulation）
ytusdc的博客
01-02 6482
所谓梯度累积过程，其实很简单，我们梯度下降所用的梯度，实际上是多个样本算出来的梯度的平均值，以batch_size=128为例，你可以一次性算出128个样本的梯度然后平均，我也可以每次算16个样本的平均梯度，然后缓存累加起来，算够了8次之后，然后把总梯度除以8，然后才执行参数更新。总结来讲，梯度累积就是每计算一个batch的梯度，不进行清零，而是做梯度的累加，当累加到一定的次数（accumulation_steps）之后，再更新网络参数，然后将梯度清零。
对pytorch中的梯度更新方法详解
01-21
据此，我简单的了解了下pytorch的权重梯度的更新策略，看看能否一窥究竟。 对代码说明 共三个实验，分布写在代码中的（一）（二）（三）三个地方。运行实验时注释掉其他两个 实验及其结果 实验（三）： 不使用zero_...
Pytorch中accuracy和loss的计算知识点总结
09-18
在PyTorch中，训练深度学习模型时，`accuracy`和`loss`是两个关键的指标，用于评估模型的性能和指导模型的优化过程。本文将深入探讨这两个概念及其在PyTorch中的计算方法。 首先，`accuracy`是衡量模型预测正确率的...
浅谈Pytorch中的自动求导函数backward()所需参数的含义
09-17
在PyTorch中，自动求导机制是深度学习模型训练的核心部分，它允许开发者轻松地计算梯度，进而实现反向传播。`backward()`函数是这一机制的关键接口，用于计算模型参数相对于损失函数的梯度。这篇内容将深入探讨`...
PyTorch 导数应用的使用教程
09-16
接着，调用`out.backward()`来计算`out`相对于`x`的梯度，这会将梯度累加到`x.grad`上。 `out.backward()`之后，`x.grad`包含了`x`相对于损失函数的导数值。例如，在上面的代码中，`x.grad`给出了`x`的每个元素关于...
解决pytorch GPU 计算过程中出现内存耗尽的问题
09-18
在PyTorch中，如果一个变量在计算图中启用梯度跟踪（即，它是一个`requires_grad=True`的Tensor），那么它会保存计算历史以便于反向传播。在循环中，如果我们将这样的变量作为累加器，如上述例子中的`total_loss += ...
pytorch梯度累积
Billie使劲学的博客
02-27 939
pytorch每次forward完都会得到一个用于梯度回传的计算图，pytorch构建的计算图是动态的，其实在每次backward后计算图都会从内存中释放掉，但是梯度不会清空的。同时，因为累计了4个batch，那学习率也应该扩大4倍，让更新的步子跨大点。看网上的帖子有讨论对BN层是否有影响，因为BN的估算阶段（计算batch内均值、方差）是在forward阶段完成的，那真实的batch_size放大4倍效果肯定是比通过梯度累加放大4倍效果好的，毕竟计算真实的大batch_size内的均值、方差肯定更精确。
Pytorch实现yolov3（train）训练代码详解（二）
litt1e的博客
05-18 6920
上篇我们讲解了如何进行数据预处理，读取数据。接下来我们一起分析yolov3训练过程与training procedure。想真正读懂这个部分，要对inference部分有所了解。 数据加载 def train( cfg, data_cfg, img_size=416, resume=False, epochs=273,...
pytroch反向传播梯度累加及清零
shuijinghua的博客
03-20 1829
传统的训练函数,一个batch是这么训练的: for i,(images,target) in enumerate(train_loader): # 1. input output images = images.cuda(non_blocking=True) target = torch.from_numpy(np.array(target)).float().cud...
PyTorch 和 Albumentations 实现图像分类（猫狗大战）
AI浩
05-09 9665
目录 摘要 导入所需的库 下载数据集并解压缩 设置下载数据集的目录 下载数据集并解压 切分训练集、验证集和测试集 定义一个可视化图像及其标签的函数 定义一个PyTorch数据集类 使用Albumentations定义训练和验证数据集的转换函数 定义训练辅助方法 定义训练参数 训练和验证 训练模型 预测图像标签并可视化这些预测 完整代码 摘要 本示例说明如何使用Albumentations对图像进行分类。 我们将使用``猫与狗''数据集。 任务是检测图像是否包含猫或狗。 .
使用PyTorch来进展不平衡数据集的图像分类
AI公园
05-06 1402
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”因公众号更改了推送规则，记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中作者：Marek Paulik编译：r...
PyTorch中的梯度累加
画心
10-06 6144
PyTorch中的梯度累加。
pytorch 梯度累计
09-16
梯度累积时，每个batch仍然正常前向传播以及反向传播，但是反向传播之后并不进行梯度清零，因为PyTorch中的backward()执行的是梯度累加的操作，所以当我们调用N次loss.backward()后，这N个batch的梯度都会累加起来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值