RuntimeError: CUDA out of memory in pytorch

最新推荐文章于 2023-11-10 10:00:00 发布
最新推荐文章于 2023-11-10 10:00:00 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wooooooc/article/details/95192083
版权

今天尝试了一下Transformer，一直遇到当validate若干次之后爆显存，一开始以为参数过多，batch size过大，但是无济于事。谷歌了相关内容，发现原来是需要加

with torch.no_grad():

否则，积累的梯度应该是会一直放在显存里的...用了这一行就会停止自动反向计算梯度

emmmmm，记录下又一个踩过的坑。。。。

Jimyoung97
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
RuntimeError: CUDA out of memory.
网易搬砖选手
04-10 4945
我认为对于 GPU 内存较低的 PyTorch 用户来说，这是一个非常常见的消息：X MiB free;X cached)但似乎效果不是很大。虽然为清除占用的cuda内存提供了一个很好的选择，我们还可以通过使用手动清除未使用的变量，但在使用这些命令后，错误可能会再次出现，因为 pytorch 实际上并没有清除内存，而是清除了对变量占用的内存的引用。因此，重新启动内核后减小batch_size并找到最佳batch_size是最好的选择（但有时不是一个非常可行的选择）。其中，两个参数都是可选的。
pytorch遇见RuntimeError: CUDA out of memory的解决
引爆激情
07-24 3715
最近在用pytorch做项目时，本人遇到RuntimeError: CUDA out of memory的错误，下面就此问题做一个记录和分享，并谈谈今后遇到爆显存问题的解决思路。 目录 1.查看是否其他程序占用显存 2.查看pytorch和cuda是否匹配 3.cuda.empty_cache()方法 3.当前项目代码是否还使用了keras/tensorflow 4.调小batch_size和通过程序优化显存 1.查看是否其他程序占用显存 遇到此类错误后，对于py格式的文件来说，程序会进行终
Pycharm报错torch.cuda.OutOfMemoryError: CUDA out of memory.
Lu0v0Lu的博客
05-29 4019
做深度学习相关的实验，可以看到我的显卡内存很小（哭了，不过我有时候是在别的电脑上做的，那个电脑比这个好用），网上搜到的说的 max_split_size_mb:128 这个方法我贴到我代码上之后没有效果。因为我在这个电脑上做的是主实验后面的一些对比实验，也就是代码中很多张量很多数据是不需要的。所以抖了个机灵，把不需要的数据全都注释掉，代码正常运行，对比实验数据跑出来了耶！
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 400.00 MiB (GPU 0； 6.00 GiB total
mjmald的博客
07-25 1万+
5. **调整 PyTorch 内存管理设置**: 可以尝试调整 PyTorch 的内存管理设置，例如通过设置`max_split_size_mb` 来避免内存碎片化。3. **释放不需要的显存**: 在某些情况下，可能存在一些不需要的显存被占用，可以使用`torch.cuda.empty_cache()` 来释放不需要的显存。可以尝试减小`batch_size` 参数的值。1. **减少模型的大小**: 可以考虑减少模型的大小，例如通过选择更小的模型、减少模型的层数或通道数等方式，来降低内存需求。
Yolov8模型训练报错：torch.cuda.OutOfMemoryError
最新发布
大雾的小屋的博客
11-10 4848
最近在使用自己的数据训练Yolov8模型的时候遇到了很多错误，下面将逐一解答。 如何解决：torch.cuda.OutOfMemoryError的报错问题。
torch.cuda.OutOfMemoryError: CUDA out of memory.
Hello_World1023的博客
04-25 4万+
发现gpu:0显存被PID:19409程序大量占用, 报错应该是默认在gpu:0训练导致显存不足, 接着查看gpu:0上程序所属用户(如果不是师兄的我就kill了)设置完成后查看显存占用情况可以看到, gpu:1显存占用马上上升了, 不影响其他gpu卡的显存。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。发现gpu:1空闲, 指定gpu:1上训练模型, 有多种方法,
transformer系列5---transformer显存占用分析
lansebingxuan的专栏
10-08 1092
模型训练框架：例如pytorch框架的cuda context会占用大约几百MB显存，与版本有关；模型参数大小，比如7B的模型以FP16格式要占用14GB显存；
Pytorch:出现RuntimeError: CUDA out of memory.的解决方案
qq_35896136的博客
06-03 5210
调用VGG网络的训练时候出现了这个问题 报错信息： RuntimeError: CUDA out of memory. Tried to allocate 823.88 MiB (GPU 0; 7.93 GiB total capacity; 6.96 GiB already allocated; 189.31 MiB free; 10.26 MiB cached) 从报错信息可以看到，是因为GPU内存不足。因为VGG网络是一个参数很庞大的网络，所以在训练过程中，需要存储大量的参数和损失函数信息等等。.
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
01-01
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术... if out of memory in str(exception): print(WARNING: out of memory) if hasattr(torch.cuda, 'empty_cache'):
Python RuntimeError: thread.__init__() not called解决方法
12-24
RuntimeError: thread.__init__() not called 复制代码 代码如下: class NotifyTread(threading.Thread):   def __init__(self, params):   threading.Thread.__init__(self) #here。。。。。。   self....
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
pytorch模型提示超出内存cuda runtime error(2): out of memory
学习、记录、分享
11-23 2万+
看到这个提示，表示您的GPU内存不足。由于我们经常在PyTorch中处理大量数据，因此很小的错误可能会迅速导致程序耗尽所有GPU; 好的事，这些情况下的修复通常很简单。这里有几个常见检查事项包括： 一、不要在循环训练中累积历史记录。 默认情况下，涉及需要求导/梯度gradients变量的计算将保存在内存中。计算中避免使用这些变量，例如在跟踪统计数据时，这些变量在循环训练中将超出你内存。相反，您...
全网最全RuntimeError: CUDA error: out of memory解决方法
热门推荐
qq_37668436的博客
11-19 5万+
第一种情况 如果这个报错后面跟了想要占用多少显存但是不够这样的字眼，如下： 解决办法就很简单了： 改小batchsize，batchsize砍半可以差不多省掉一半的显存 推理阶段加上with torch.no_grad()，这个可以将修饰的代码段不要梯度，可以省掉很多显存 改小input的shape，例如(224,224)->(112,112)这样可以省掉一半的显存 换小的网络结构 用多卡训练，torch可以用model = nn.DataParallel(model)启用多卡训练，终端用CUDA
完美解決pytorch载入预训练权重时出现的CUDA error: out of memory
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
09-11 3410
今天小虎远程操纵工作站，想把昨晚练好的预训练模型迁移一下，发现跟往常不一样，nvidia的Cuda报错说出现超出内存的情况。
报错记录torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 90.00 MiB (GPU 0； 7.93 GiB to
gongkeguo的博客
11-03 2万+
python报错记录
解决cuda out of memory
weixin_44630230的博客
03-30 5242
问题： pytorch默认使用第一块显卡 cuda o ,在运行bert代码时，因为长文本，我把padsize调到512。导致显存不足，会占用大量的显存。程序会反复报Runtime Error，cuda out of memory的错。 分析： 服务器有三块显卡0,1，2。为啥空间不足，原来pytorch在初始化的时候会默认在第0块显卡上进行，这就导致，在第0块显卡空闲内存不多时，反复报错 解决： 通过几行代码解决问题 开头添加： import os os.environ["CUDA_VIS
使用Pytorch训练模型出现RuntimeError: CUDA out of memory错误解决
qq_42391852的博客
12-25 8925
使用Pytorch训练模型出现RuntimeError: CUDA out of memory 训练： 由于GPU显存资源有限，训练输入的batchsize不能过大，过大会导致out of memory错误。 解决方案： 将batchsize减小，甚至是为1 测试时出现此问题解决方案： 在测试代码之前使用 with torch.no_grad(): ...
Pytorch显存充足出现CUDA error:out of memory错误
Hungry_Shell的博客
08-17 9368
Pytorch显存充足出现CUDA error:out of memory错误 Ref: https://www.cnblogs.com/jisongxie/p/10276742.html 报错内容 ![image.png](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAyMC9wbmcvNjAyMzUwLzE1OTc2NTM0ODcxMzktNDQ5N2JmZDItMzBhYi00NzMzLTg2ZD
pytorch模型提示超出内存RuntimeError: CUDA out of memory
05-13
4. 清除缓存：在每个epoch结束后，可以使用 `torch.cuda.empty_cache()` 来清除缓存。 5. 使用分布式训练：使用分布式训练可以将模型参数分配到多个GPU上，从而减少每个GPU的内存使用量。 6. 增加GPU内存：如果...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值