win10跑Pytorch模型出现RuntimeError: CUDA out of memory的解决方法

最新推荐文章于 2024-03-29 15:43:11 发布
最新推荐文章于 2024-03-29 15:43:11 发布
阅读量3k 收藏 3
点赞数
分类专栏： Pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ztomepic/article/details/103754475
版权

Kaggle官方提供的GPU频繁断开，被迫在自己的机器上跑Kernal，显卡是贫民配置1050TI，显存4GB。训练无法开始，直接报错RuntimeError: CUDA out of memory，尝试多种方法后解决，现在能够龟速训练了。

1.修改Dataloader中的num_worker参数为0（似乎仅针对windows系统下）
2.缩小batch_size
3.把训练的代码块放入if __name__=='__main__':中

Ztomepic
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Pytorch-Memory-Utils:pytorch内存跟踪代码
05-12
Pytorch-Memory-Utils 这些代码可以帮助您在使用Pytorch进行训练期间检测GPU内存。 有关此工具的博客，并解释了详细信息： : 用法： 将modelsize_estimate.py或gpu_mem_track.py放在当前工作目录下并导入它们。 以下是打印内容。 计算单个模型的内存使用量 Model Sequential : params: 0.450304M Model Sequential : intermedite variables: 336.089600 M (without backward) Model Sequential : intermedite variables: 672.179200 M (with backward) 跟踪GPU内存使用量 # 30-Apr-21-20:25:29-gpu_mem_track.txt GPU
解决：RuntimeError: CUDA out of memory.
ln01010的博客
07-22 2014
利用pytorchGPU训练深度模型时出现RuntimeError:CUDA out of memory问题解决方案
【报错解决】RuntimeError: CUDA error: out of memory（已解决）
最新发布
weixin_44502754的博客
03-29 573
【报错解决】RuntimeError: CUDA error: out of memory（已解决）
kaggle出现read-only file system； CUDA out of memory错误；os.path.join()，参数路径是完整路径报错了；清理显存
weixin_44724619的博客
10-27 2325
您可以做的是通过将转换后的图像目录复制到 /kaggle/工作文件夹，方法是执行以下操作！cp 是 linux 的复制命令（因为笔记本在 linux 内核上运行）-r 用于复制整个目录注释./ 是当前的工作目录 （ /kaggle/work）注意，如果您更改了当前的工作目录，请执行此操作！cp -r original_directory_path /kaggle/工作。
一些kaggle上训练自己的代码会遇到的小问题
weixin_56180495的博客
12-06 713
请注意，这些方法可能会对训练过程产生一定的影响，特别是手动释放内存可能会导致训练速度略有下降。在使用这些方法时，建议进行一些实验以找到最佳的平衡点。此外，确保在训练循环中使用torch.cuda.empty_cache()的地方不会过于频繁，以免影响训练性能。这个错误提示表明你的PyTorch代码尝试在GPU上分配超过可用内存的数量，因此导致CUDA内存不足错误。2.在每个训练步骤的末尾，手动删除不再需要的中间变量和张量。6.减小训练时的批处理大小，因为较小的批处理会占用更少的内存。
解决方法：RuntimeError: CUDA out of memory. Tried to allocate ... MiB
qq_44504069的博客
05-11 1万+
RuntimeError: CUDA out of memory. Tried to allocate 978.00 MiB (GPU 0; 15.90 GiB total capacity; 14.22 GiB already allocated; 167.88 MiB free; 14.99 GiB reserved in total by PyTorch)
解决 Spark 本地模式 out of memory 和磁盘不足问题
leishenop的专栏
12-08 6649
在做Kaggle比赛的时候，中间处理之后的训练数据有5000多万条数据，结果Spark 本地模式运行的时候，一直报出out of memory 问题。我在程序中使用了DataFrame.rdd.collect()方法。RDD的Collect()方法把RDD的数据全部放入到数组中进行返回，5000多万条数据全部放入到数组当中进行返回。当然会内存溢出。通过打印GC日志发现，Eden区域和老年代的空间使用
解决Cuda out of memory的一种思路
qq_33977080的博客
04-30 8680
在实际做实验的过程中，cuda of memory问题很常见，在整理过网上的思路后，大致有如下几种： 减小batch_size（常用）或减小模型参数和输入的大小（很少用到）。 在测试过程中加上如下语句：with torch.no_grad() 内存就不会分配参数梯度的空间。 训练过程中遇到此情况可尝试在训练前释放cuda内存。nvidia-smi 查看gpu的使用率，若使用率不高就使用torch.cuda.empty_cache()释放内存 这次又出现了新的问题，我将我遇到的情况总结如下： #在修
CUDA out of memory解决办法
家鸽的代码屋
12-31 1万+
CUDA out of memory解决办法 当使用Pytorch GPU进行计算时经常遇到GPU存储空间过满，原因大致有两点： 1.Batch_size设置过大，超过显存空间 解决办法： 减小Batch_size 2.之前程序运行结束后未释放显存 解决办法： 按住键盘上的Win+R在弹出的框里输入cmd，进入控制台, 然后输入命令 nvidia-smi 查看GPU的使用情况，和占用GPU资源的程序，我们看到 PID 2492 运行着python占用很大空间 可以使用如下命令杀死进程 taskkill
kaggle小白必看：小白常见的2个错误解决方案
qq_41387508的博客
08-07 3070
本文分享下kaggle小白可能经常遇到的两个错误的解决方案。 1.提交失败 第一次使用的可能在测试notebook的时候没报错，但是在提交结果的时候报错了，可能为如下： 解决方法 这是因为save version的时候notebook是在有网环境下的，而一般的比赛在推理的时候是断网的，所以需要在保存notebook的时候把网络关掉，如下图所示: image 2.找不到segmentation_models_pytorch模块等问题 因为代码中用到了segmentation_models_pytorc
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决Pytorch 训练与测试时爆显存(out of memory)的问题
01-01
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： ...
CUDA out of memory 解决办法
qq_42925267的博客
01-26 4万+
CUDA @TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行
CUDA out of memory.(已解决）
热门推荐
weixin_43398590的博客
04-08 15万+
CUDA out of memory.(已解决） 有时候我们会遇到明明显存够用却显示CUDA out of memory，这时我们就要看看是什么进程占用了我们的GPU。 按住键盘上的Windows小旗子+R在弹出的框里输入cmd，进入控制台。 nvidia-smi 这个命令可以查看GPU的使用情况，和占用GPU资源的程序。我们看到python再运行完以后没有释放资源导致GPU的内存满了。 可以...
再次遇到RuntimeError: CUDA error: an illegal memory access was encountered
qq_43733107的博客
02-17 3058
RuntimeError: CUDA error: an illegal memory access was encountered
WIN10下RuntimeError: CUDA out of memory.的解决办法
m0_46578941的博客
02-21 2258
用笔记本的小破GPU做深度学习，总是报这个错： RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 2.00 GiB total capacity; 200.61 MiB already allocated; 56.88 MiB free; 216.00 MiB reserved in total by PyTorch) If reserved memory is >> allocated memory
【已解决】探究CUDA out of memory背后原因，如何释放GPU显存？
FRIGIDWINTER的博客
04-11 5万+
本文探究CUDA的内存管理机制，总结RuntimeError: CUDA out of memory的背后原因，并给出解决方案
yolo v2 训练自己数据集遇到的问题
jozeeh的博客
11-27 4201
1.CUDA Error: out of memory darknet: ./src/cuda.c:36: check_error: Assertio `0' failed. 需要修改所使用的模型cfg文件中的subdivision的参数。 由subdivisions=8改成subdivisions=64。 subdivision：这个参数很有意思的，它会让你的每一个ba
pytorch模型提示超出内存RuntimeError: CUDA out of memory
05-13
你可以尝试以下方法来解决这个问题： 1. 减少batch size：减少每个batch的大小可以减少GPU内存的使用量。 2. 减少模型层数：如果你的模型太大，可以尝试减少模型的层数，以减少GPU内存的使用量。 3. 使用半精度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值