RuntimeError: $ Torch: not enough memory: you tried to allocate 2GB

最新推荐文章于 2023-08-21 23:24:03 发布
最新推荐文章于 2023-08-21 23:24:03 发布
阅读量3.1k 收藏 2
点赞数 1
分类专栏： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41426887/article/details/104404851
版权 
outputs = net()

在上面这行遇到内存不够的问题，一定要考虑net()里面的batch size是不是太大了。

即使你是在测试，但如果你是直接把整个数据集输入到net()中，一般来说内存是不够用的，你必须把batch size减少到正常水平，比如256。

参考：https://github.com/SeanNaren/deepspeech.pytorch/issues/150

ding制
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
DefaultCPUAllocator: not enough memory: you tried to allocate
Shaoyc
12-02 1万+
解决方案（1）：重启电脑/使用任务管理器关闭多余应用释放系统内存（临时方案）解决方案（2）：增加电脑虚拟内存（建议选该方案）
个人使用ChatGLM-6B遇到的部分问题汇总
weixin_48713918的博客
05-26 1万+
项目的github网址（https://github.com/THUDM/ChatGLM-6B）中有解决问题专用的Issues模块。建议遇到问题先将部分报错写在这里进行查询，大概率能找到问题的解决方法。本文章只用于记录个人在使用过程中遇到的问题，供以后回忆之用。以下都是在运行cli_demo.py遇到。推荐版本是4.27.1 ，但是好像不太行。以上修改完成后，我的程序就已经可以运行了。这里有多个问题需要解决。
Pycharm 超出内存报错RuntimeError: DefaultCPUAllocator: not enough memory
weixin_43429393的博客
09-16 2万+
RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:75] data. DefaultCPUAllocator: not enough memory: you tried to allocate 311500800 bytes. Buy new RAM! 跑一些比较大的模型的时候，Pycharm经常会报这样的错误，我们可以设置一下Pycharm默认的最大内存： 在Pycharm按下快捷键：Ctrl+Shift+A 然后输入：VM opt
Python RuntimeError: thread.__init__() not called解决方法
09-22
主要介绍了Python RuntimeError: thread.__init__() not called解决方法,需要的朋友可以参考下
RuntimeError: DefaultCPUAllocator: not enough memory: you tried to allocate 1105920 bytes.
qq_44936246的博客
08-17 1万+
RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:76] data. DefaultCPUAllocator: not enough memory: you tried to allocate 1105920 bytes.
训练过程中出现not enough memory:you tried to allocate
热门推荐
w1290027的博客
07-24 4万+
我在训练yolo v3的模型时，出现了下图的错误。这应该是内存不够的问题！ RuntimeError: [enforce fail at …\c10\core\CPUAllocator.cpp:72] data. DefauCPUAllocator:not enough memory:you tried to allocate 88604672 bytes.Buy new RAM! 我是在家里自己电脑上运行的，用cpu训练本来就慢，训练了一天，内存溢出就给崩了，我的心态也崩了！ 稳住！不慌！网上没有找到解决
Torch: not enough memory: you tried to allocate 0GB. Buy new RAM! 解决办法
cchangcs
04-07 1万+
该问题是由于内存不足引起的，可采用分配虚拟内存的方式进行解决。 虚拟内存分配方法： 1.首先用命令free查看系统内 Swap 分区大小: 　　　　free -m 　　2.创建一个 Swap 文件: 　　　　mkdir ~/swap 　　　　cd ~/swap 　　　　创建2Gswap分区：sudo dd if=/dev/zero of=swapfile bs=10...
【规避内存不足问题】DefaultCPUAllocator: not enough memory: you tried to allocate 8000000 bytes. Buy new RAM
weixin_43509698的博客
02-21 4万+
【错误描述】 pytorch训练深度模型，往往报内存不足，但是本人自己的电脑很low，经常将dataloader中多线程num_workers置为0和将batch_size减小。但是在一次训练中将batch_size设置成1还是报错，最后采用修改源代码中统计字节参数，完美规避了内存不足的报错。 builtins.RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:73] data. DefaultCPUAllocator: not enou
swap内存不足解决方案 Torch: not enough memory: you tried to allocate 0GB. Buy new RAM!
Rui012345的博客
11-14 1万+
运行lua程序时报错： 此问题是由于内存不足引起的，可采用分配虚拟内存的方式进行解决。 解决方案： 1.首先用命令free查看系统内 Swap 分区大小 free -m 可以看到swap只有1021M，下面我们来扩大到2G。 2.创建swap文件 mkdir ~/swap cd ~/swap sudo dd if=/dev/zero of=swapfile bs=10...
RuntimeError: Cannot run the event loop while another loop is running(目前没有解决)
12-21
代码如下: import tornado.ioloop import tornado.web from tornado.httpclient import HTTPClient, AsyncHTTPClient class MainHandler(tornado.web.RequestHandler): # 同步 def get(self): h_c = HTTPClient() res = h_c.fetch("http://www.baidu.com") # print(res) # pass
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
01-21
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+（建议用pychon3.6版本，我...
not enough memory: you tried to allocate 123456789 bytes.
weixin_45751925的博客
07-10 325
方法1、2、3
本地安装部署运行 ChatGLM-6B 的常见问题解答以及后续优化
chaishen10000的专栏
06-18 1万+
如果你电脑内存实在捉襟见肘的话，可以选择直接使用现成的INT4量化模型，这样内存中只需要占用5.5GB左右了，使用GPU运行时，8G内存的电脑也可以一战了，使用CPU运行时，可以允许24GB甚至16GB内存的电脑运行，显著降低运行配置。比如将 Temperature 设置为 0.05 和 0.95 的主要区别在于，T=0.05 会使得模型更加自信，更加倾向于选择概率最大的类别作为输出，而 T=0.95 会使得模型更加不确定，更加倾向于输出多个类别的概率值较大。（你需要那个文件就改哪个文件，不需要全改）
RuntimeError: CUDA error: out of memory自己的解决方法(情况比较特殊估计对大部分人不适用)
LIZHEMGHONG的博客
03-23 431
我在运行pytorch的时候，老是报这种错，或者别的错，反正是CUDA用不了，自己在网上各种看，后来自己还在想为什么是N/A而不是数值 难道是自己用不了GPU吗？ 后来猛然醒悟，上午刚刚安好CUDA，电脑没关机休眠到下午，所以我重启了一下，然后就可以用了 同时说明N/A是正常的，只是不可见 而不像 这位网友的错误回答 可以参考：https://blog.csdn.net/weixin_45626238/article/details/104407986 ...
Typical memory leak (C++中典型的内存泄露)
huangynn的专栏
02-19 2448
Definition Memory Leak: leak on the heap, memory allocation during runtime 1.Frequent Memory Leak: a code include memory leak is used frequently (most dangerous but relatively easy to find) 2
（已解决）在本机跑得好好的，连上客户端之后，第二次运行报错：RuntimeError：CUDA out of memory……显存不够导致程序再次运行不成功的原因分析即解决办法
BetrayFree的博客
08-21 1372
在本机跑得好好的，连上客户端之后，第二次运行报错：RuntimeError：CUDA out of memory……显存不够导致程序再次运行不成功的原因分析即解决办法
pytorch实战遇到的bugs
WX_Chen的博客
06-17 5993
在训练和测试的时候都遇到这个问题， _error_if_any_worker_fails() RuntimeError: DataLoader worker (pid 8565) is killed by signal: Killed.   还有这个， RuntimeError: $ Torch: not enough memory: you tried to allocate   ...
ROS基于C++动力学约束的路径规划源码+ppt文件.zip
最新发布
04-30
ROS基于C++动力学约束的路径规划源码+ppt文件.zip
RuntimeError: CUDA out of memory. Tried to allocate 100.00 MiB
02-02
当你在使用CUDA进行深度学习训练或推理时，可能会遇到"RuntimeError: CUDA out of memory"的错误。这个错误表示你的显存不足以分配所需的内存。 这个问题通常有以下几种解决方法： 1. 减少批量大小（batch size）：减小每次迭代所使用的样本数量，从而减少显存的使用量。但这可能会导致训练过程变慢。 2. 减少模型的大小：如果你的模型非常大，可以尝试减小模型的规模，例如减少网络层数、减少每层的神经元数量等。 3. 使用更小的数据类型：将模型参数和激活值从float32转换为float16，可以减少显存的使用量。但需要注意的是，这可能会对模型的精度产生一定影响。 4. 使用更高容量的显卡：如果你的显卡显存容量较小，可以考虑升级到容量更大的显卡。 5. 分布式训练：将训练任务分布到多个显卡上进行并行训练，从而减少每个显卡上的显存使用量。 6. 清理显存：在每次迭代结束后，手动释放不再需要的中间结果，可以通过调用`torch.cuda.empty_cache()`来清理显存。 7. 使用CPU进行计算：如果你的显存仍然不足，可以考虑将计算迁移到CPU上进行，尽管这会导致训练速度大幅下降。 希望以上方法能够帮助你解决CUDA显存不足的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值