pytorch 显存逐渐增大

最新推荐文章于 2024-07-28 09:34:41 发布
最新推荐文章于 2024-07-28 09:34:41 发布
阅读量1w 收藏 1
点赞数 3
分类专栏： 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a362682954/article/details/83743961
版权

在训练过程中,显存随着batch的增加而增大,特别是在预测的时候.

这时候可能是因为在训练过程中存储的数组是添加的而不是覆盖的.例如在预测过程中将所有结果逐渐添加保存到一个list中,导致list越来越大,占用的显存越来越多,从而导致oom或者卡死现象.

如果一定要使用添加数组,可以考虑使用np.save分布存储,再使用np.load读取,这样就不会添加进显存.

使用

torch.cuda.empty_cache() 可以清除没有用的显存占用.

不过在上述的情况下 可能没有用.

冰菓(笑)
关注
专栏目录
PyTorch 的并行计算——PyTorch 中文文档
程序员光剑
08-09 1412
近年来，随着深度学习模型规模和数据集的不断增长，训练时间成为了制约模型性能提升的关键因素。为了加速模型训练，并行计算技术应运而生，并逐渐成为深度学习领域的研究热点。PyTorch 作为一款流行的深度学习框架，提供了丰富的并行计算功能，可以帮助开发者轻松实现模型的并行训练，从而大幅缩短训练时间。实现数据并行，将模型复制到多个 GPU 上，并将数据分发到不同的 GPU 进行计算。实现分布式训练，支持多种后端，如 MPI、Gloo 和 NCCL。
minist手写数字的识别代码复现(pytorch 版本)
2202_75521293的博客
03-16 2035
电脑系统：Windows 10语言环境：Python 3.8.18编译器：jupyter notebook深度学习环境：torch == 1.13.1+cu116显卡及显存： Tesla V100-PCIE-32GB卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种 具有局部连接、权重共享等特性的深层前馈神经网络． 目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的 前馈神经网络。
Pytorch训练过程中，随着Epoch增加，显存增大
weixin_45655219的博客
03-11 521
在训练过程中，第一个epoch可用，而第二个epoch显存不够。1. 检查代码，是否将大量不必要的数据放到GPU。
[原创]关于解决pytorch训练神经网络时显存一直增长的问题
weixin_46724054的博客
08-06 2981
[原创]关于解决pytorch训练神经网络时显存一直增长的问题。
【PyTorch笔记】训练时显存一直增加到 out-of-memory？真相了！
最新发布
u010522887的专栏
07-28 803
Pytorch 训模型的过程中，发现总是训练几轮后，出现显存爆炸 out-of-memory 的问题，记录这次 debug 之旅，希望对有类似问题的小伙伴有一点点帮助
【问题探究】如何解决pytorch训练时的显存占用递增（导致out of memory）
热门推荐
fish_like_apple的博客
09-26 2万+
前言： { 现在的神经网络模型，动不动就爆内存。两年前我笔记本2G的显存都绰绰有余，现在16G的P100，24G的P40却还不够。更让我郁闷的是，在pytorch训练时，显存占用竟然会不断增加，可能刚开始训练时是正常的，但是放在那里，不知道什么时候它就突然来一句out of memory，然后就尥蹶子不干了，白白浪费了很长的时间。所以这个问题我确实需要搞清楚。 } 正文： ...
pytorch 关于显存增长原因以及显存占用优化
weixin_39450742的博客
07-16 1347
转载自https://blog.csdn.net/qq_36401512/article/details/96163940 侵删 ps:师傅希望想tensorflow一样设置GPU占用（tf.GPUOptions），但事实情况是好像pytorch根本就没有相关函数来设置（如８Ｇ显存我只用2G,来跑是否可行） 1.网上很多攻略关于pytorch 训练时显存持续增长的问题 其实这个问题主要出现在0.4之前的版本，在累加loss时用的是loss_sum+=loss，而非loss_sum+=lo...
训练过程中显存不断增加
weixin_46842372的博客
10-14 237
如何解决pytorch程序运行时内存消耗一直增加的问题？- 浮生号的回答 - 知乎 https://www.zhihu.com/question/276797963/answer/2355051638。但是feature没有参与loss计算，导致feature没有被反向传播到，一直保留在计算图中。训练一个模型，显存一直在不断增加....肯定是什么变量一直被保存在计算图里面。经过排查发现，我从模型里返回了一个特征（因为这个特征后续要参与计算）。在将feature传出模型前，先detach()
Python Bug 关于PyTorch-Dataset 内存持续增长bug
zhziqiang的博客
09-06 1403
python List[Dict] bug
【item() detach()用法】神经网络训练显存越来越大的原因之一
计算机视觉方面的点点滴滴，欢迎一起讨论
04-22 4436
文章目录1 显存变大的原因2 loss.item()和loss.detach()解决问题3 感谢链接 1 显存变大的原因 PyTorch采用动态图机制，通过tensor(以前是variable)来构建图，tensor里面包含的梯度信息用于反向传播求导。但不是所有变量都应该包含梯度(毕竟东西多，占“面积”就多)，否则就会造成网络越跑，所占显存越大的情况，那怎么办呢？ 2 loss.item()和loss.detach()解决问题 先看一段代码， for batch_idx, (inputs, targ
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
今天小编就为大家分享一篇解决Pytorch 训练与测试时爆显存(out of memory)的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决pytorch训练时的显存占用递增的问题
weixin_45928096的博客
01-15 7038
在pytorch训练过程中突然out of memory。 解决方法： 1. 设置 torch.no_grad(): 2. loss.item() 3. 在代码中添加以下两行： torch.backends.cudnn.enabled = True torch.backends.cudnn.benchmark = True 4. del操作后再加上torch.cuda.empty_cache() 补充：Pytorch显存不断增长问题的解决思路
pytorch 训练过程内存泄露/显存泄露debug记录：dataloader和dataset导致的泄露
Cleo_Gao的博客
08-06 4638
查找内存泄露/显存泄露的位置：把数据送入模型的代码全部注释掉，观察显存是否上涨；上涨说明内存泄露出现在dataloader（出现在非 dataloader 地方的最常见的显存泄露原因是，loss打印/统计的时候没有写把不同的 data 组成部分注释掉，观察具体是哪个 data 导致的内存泄露pytorch 释放内存的方法：把 tensor 读到 gpu 就会有显存占用，一般可以自动释放，但是显存泄露的时候就没法释放。找到没有及时释放的代码位置，然后首先del tensor标记删除，随后需要调用。
【转】解决内存/显存泄露的方法 pytorch
fanyue1997的博客
12-12 1663
def debug_memory(): import collections, gc, resource, torch print('maxrss = {}'.format( resource.getrusage(resource.RUSAGE_SELF).ru_maxrss)) tensors = collections.Counter((str(o.device), o.dtype, tuple(o.shape)) .
深度学习显存占用不断提高（网上没有出现的一种情况）
qq_42061298的博客
05-23 1489
当我运行一段代码的时候出现一开始显存占用没有满，随着训练的step增多显存逐渐增大。我尝试了https://blog.csdn.net/qq_36401512/article/details/96163940所有方法发现都不行。直到收到一位高人指点，将原先的torch1.7版本换为torch1.6问题就解决了。 ...
深度学习笔记--解决GPU显存使用量不断增加的问题
牵一只蜗牛去散步
02-14 3800
出现上述问题的原因在于：输入数据到网络模型进行推理时，会默认构建计算图，便于后续反向传播进行梯度计算。而构建完整的计算图，会增加计算和累积内存消耗，从而导致 GPU显存使用量不断增加；基于 Pytorch 使用 VGG16 预训练模型进行分类预测时，出现 GPU 显存使用量不断增加，最终出现 cuda out of memory 的问题；由于博主只使用 VGG16 预训练模型进行分类预测，不需要训练和反向传播更新参数，所以不用构建完整的计算图。
【笔记】神经网络运行过程中显存一直增加，直至爆炸的原因：显存中的数据量增加导致的
nyist_yangguang的博客
09-13 1494
pytorch 显存逐渐增长
12-01
在使用PyTorch进行深度学习训练时，显存逐渐增长的问题是比较常见的。这是由于在训练过程中，模型参数和梯度都需要存储在显存中，而且每个batch的输入数据也需要存储在显存中，如果不及时释放显存，就会导致显存逐渐增长，最终导致程序崩溃。以下是一些解决方法： 1.使用with torch.no_grad()语句块来减少内存占用，这个语句块可以禁止梯度计算，从而减少显存的使用。 2.使用torch.utils.checkpoint来减少显存占用，这个函数可以将计算图分段，每次只计算一部分，从而减少显存的使用。 3.使用torch.cuda.empty_cache()函数来释放显存，这个函数可以释放PyTorch占用的所有未被使用的显存。 4.使用更小的batch size，这个方法可以减少每个batch的显存占用。 5.使用半精度浮点数来减少显存占用，这个方法可以将模型参数和梯度存储为16位浮点数，从而减少显存的使用。 以下是一个使用torch.cuda.empty_cache()函数释放显存的例子： ```python import torch # 训练代码 for epoch in range(num_epochs): for i, (images, labels) in enumerate(train_loader): # 训练代码 # ... # 每训练10个batch释放一次显存 if i % 10 == 0: torch.cuda.empty_cache() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值