PyTorch节省显存占用方法

已于 2022-05-08 10:32:28 修改
阅读量1.9k 收藏
点赞数
分类专栏： pyTorch 文章标签： PyTorch 显存
于 2019-06-21 08:17:28 首次发布
未经授权，禁止转载，如需转载请私信
本文链接：https://blog.csdn.net/dlhlSC/article/details/93157593
版权
upDiff
关注
专栏目录
【问题探究】如何解决pytorch训练时的显存占用递增（导致out of memory）
fish_like_apple的博客
09-26 2万+
前言： { 现在的神经网络模型，动不动就爆内存。两年前我笔记本2G的显存都绰绰有余，现在16G的P100，24G的P40却还不够。更让我郁闷的是，在pytorch训练时，显存占用竟然会不断增加，可能刚开始训练时是正常的，但是放在那里，不知道什么时候它就突然来一句out of memory，然后就尥蹶子不干了，白白浪费了很长的时间。所以这个问题我确实需要搞清楚。 } 正文： ...
Pytorch节省显存、加速训练的小技巧
huaxiaoxin1的博客
07-22 2740
Pytorch节省显存、加速训练的小技巧 2020.7.22 张文政 GPU是深度学习模型的关键，对GPU来说，最重要的两个指标就是显存与算力。如何在代码层面最大程度地节省显存、在算力固定的情况下更快地训练，是值得学习地。当然，APEX和多GPU训练可以显著地提升这两点，本文只介绍除了APEX和多GPU之外的其他的技巧。 使用4层编码，4层解码，8头注意力的transformer，优化器使用Adagrad，在生成任务上进行测试。初始时训练batchsize为16，占用显存12000MB；测试batchs
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
今天小编就为大家分享一篇解决Pytorch 训练与测试时爆显存(out of memory)的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
[pytorch] 训练节省显存的技巧
最新发布
weixin_51552032的博客
09-14 484
因为偷懒，使用的是 pytorch 自带的 scaler，发现其实没什么用。是更新梯度，但是计算图没有释放，可以使用zero_grad释放计算图。这个我也没有试验过。
pytorch 减小显存消耗，优化显存使用，避免out of memory
热门推荐
小小码农的博客
06-14 10万+
本文是整理了大神的两篇博客：如何计算模型以及中间变量的显存占用大小：https://oldpan.me/archives/how-to-calculate-gpu-memory如何在Pytorch中精细化利用显存：https://oldpan.me/archives/how-to-use-memory-pytorch还有知乎中大神的解答：https://zhuanlan.zhihu.com/p/3...
内存和显存_Pytorch节省内存（显存）的小技巧
weixin_39923110的博客
12-24 621
来自 | 知乎链接 |https://www.zhihu.com/question/274635237编辑 | 深度学习这件小事公众号本文仅作学术交流，如有侵权，请联系删除提问Pytorch有什么节省内存(显存)的小技巧？在用pytorch实现一个tensorflow project的时候遇到了GPU显存超出 (out of memory) 的问题，不知道有什么优化方法。 高...
pytorch减少显存占用和加速（checkpoint(会慢),apex(会块)）
凡士林的博客
07-01 1095
1、pytorch 的 checkpoint 是一个可以用时间换空间的技术，很多情况下可以轻松实现 batch_size 翻倍的效果. 快速使用链接： https://blog.csdn.net/ONE_SIX_MIX/article/details/89639334 2、apex 混合精度训练 快速使用链接： https://zhuanlan.zhihu.com/p/79887894 ...
pyTorch节省显存
weixin_37958272的博客
05-08 148
基本上，PyTorch所做的是，每当我通过网络传递数据并将计算存储在GPU内存中时，它都会创建一个计算图，以防我想在反向传播期间计算梯度。但由于我只想执行正向传播，所以只需要为模型指定torch.no_grad()。 因此，我的代码中的for循环可以重写为： 为我的模型指定no_grad()会告诉PyTorch我不想存储任何以前的计算，从而释放我的GPU空间。 ...
Pytorch释放显存占用方式
09-18
6. **使用`torch.no_grad()`上下文管理器**：在不需要梯度计算的代码块中使用此管理器，可以暂时关闭梯度计算，节省显存。 综上所述，PyTorch提供了多种手段来管理和释放显存，包括`torch.cuda.empty_cache()`、...
Pytorch节约显存的一些技巧1
08-04
因此，本文将探讨在不减少输入数据尺寸和Batch Size的情况下，如何优化PyTorch模型以节省显存。 首先，了解占用显存的主要部分： 1. **网络模型**：模型的参数层，如卷积、全连接和BN层，是主要的显存消耗者。非...
pytorch显卡内存随训练过程而增加_BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码）...
weixin_39994438的博客
12-20 663
一只小狐狸带你解锁 炼丹术&NLP秘籍作者：夕小瑶、rumor酱前言虽然TPU的显存令人羡慕，但是由于众所周知的原因，绝大部分人还是很难日常化使用的。英伟达又一直在挤牙膏，至今单卡的最大显存也仅仅到32G(参考V100、DGX-2)。然而，训练一个24层的BERT Large模型的时候，如果sequence length开满512，那么batch size仅仅开到8(有时候能到...
PyTorch 轻松节省显存的小技巧
lucifer479的博客
07-18 6721
如今的深度学习发展的如火如荼，相信各行各业的大家都或多或少接触过深度学习的知识。显存不足是很多人感到头疼的问题，毕竟能拥有大量显存的实验室还是少数，而现在的模型已经越跑越大，模型参数量和数据集也越来越大。在别人的Batchsize在32甚至64以上时，我们还在为强行塞下1个Batch而努力。以下给大家提供一些节省PyTorch显存占用的小技巧，虽然提升不大，但或许能帮你达到可以勉强运行的及格线。...
pytorch节省显存小技巧
向阳争渡
03-01 4352
使用pytorch进行文本多分类问题时遇到了显存out of memory的情况，实验了多种方法，主要比较有效的有两种： 1、尽可能使用inplace操作，比如relu可以使用inplace=True 进一步将BN归一化和激活层Relu打包成inplace，在BP的时候再重新计算。做一步使用pytorch1.0的checkpoint特性 代码与论文参考 mapillary/inplace_abn ...
PyTorch 节省显存的策略总结
小白学视觉
12-14 132
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达来源丨https://zhuanlan.zhihu.com/p/430123077导读随着深度学习快速发展，同时伴随着模型参数的爆炸式增长，对显卡的显存容量提出了越来越高的要求，如何在单卡小容量显卡上面训练模型是一直以来大家关心的问题。本文结合 MMCV 开源库对一些常用的节省显存策略进行了简要分析。0 前言本文涉及到的 Py...
Pytorch有什么节省内存（显存）的小技巧？
idol24的博客
06-19 1165
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！戳我，查看GAN的系列专辑~！正文之前的福利：120元买300元的书！！！扫以下码，购买/搜索...
pytorch中有哪些节约显卡内存的方法
wwimhere的博客
11-21 260
但需要注意的是，使用float16可能会导致数值不稳定的问题，因此需要使用一些技巧如梯度剪裁来避免这个问题。9，使用梯度检查点：梯度检查点是一种保存中间计算结果的技术，以便在反向传播时重复使用它们，而不是每次都重新计算它们。2，使用梯度累计：梯度累积是在每个训练步骤中计算梯度，但不立即更新模型参数，而是将多个步骤的梯度累积起来，然后一次性更新模型参数。5，删除不再使用的变量：在训练过程中不再需要的变量可以停止更新，例如使用torch.no_grad()来停止计算梯度。来清理不再需要的缓存。
pytorch做inference的时候如何减少显存占用
nkhgl的博客
09-27 2147
1、采用with torch.no_grad(): with torch.no_grad(): tc_data = netG_A(input_data, d_f) 相比于直接做inference，加上with torch.no_grad()能够占用更少的显存。即使设置了netG_A.eval(),占用显存和没设置时是一样的。难道eval()模式也还会保留中间梯度？ tc_data = netG_A(input_data, d_f) 2、删除中间变量： with torch.no_gr
pytorch 如何减少内存和显存
weixin_42425256的博客
11-24 1015
pytorch 如何减少内存和显存
pytorch显存占用
09-26
PyTorch的显存占用可以通过使用torch.cuda.memory_allocated()和torch.cuda.max_memory_allocated()函数进行分析。前者可以返回当前进程中torch.Tensor所占用的GPU显存，后者则可以告诉我们到调用函数为止所达到的最大的显存占用字节数。然而，它们无法提供具体的Tensor在某一时间点的显存占用情况，而是显示已经分配到的显存缓冲区和torch在创建cuda进程时所需开销的和，也就是reserved_memory和torch context显存之和。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

upDiff

你的鼓励将是我创作的最大动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值