pytorch 遇到OSError: [Errno 12] Cannot allocate memory错误的解决

最新推荐文章于 2025-01-27 00:06:21 发布
最新推荐文章于 2025-01-27 00:06:21 发布
阅读量1.4w 收藏 9
点赞数 1
分类专栏： python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/binbinczsohu/article/details/124014190
版权

Pytorch 内存不足 交换内存 Python环境 PyCharm
关键词由CSDN通过智能技术生成

目录

问题描述

环境说明

尝试方法

1、更换环境（不行）

2、还原代码（不行）

3、压缩模型（不行）

4、检查主机内存（不行）

5、尝试这个办法（不行）

6、尝试这个办法（不行）

7、删除占用交换内存的软件（有效）

问题描述

在跑一段之前正常的代码，突然间就报这个错误，真的是很纳闷

环境说明

ubuntu18

python3.7

尝试方法

1、更换环境（不行）

换成了Python36的环境

2、还原代码（不行）

因为代码我做了一些调整，所以我还原了代码

3、压缩模型（不行）

减少模型中的模块数量，压缩模型大小

4、检查主机内存（不行）

因为报错说是无法分配内存，所以我检查了内存大小，剩余内存是够用的

5、尝试这个办法（不行）

Pytorch遇到OSError: [Errno 12] Cannot allocate memory问题的解决方案_筱CV菌的博客-CSDN博客

6、尝试这个办法（不行）

Pytorch cannot allocate memory 解决内存不足问题

7、删除占用交换内存的软件（有效）

我使用的是finalshell，他有显示目标主机的内存占用情况，我发现交换内存2G 被占用了1.7G，这个感觉有问题，所以我网上找了一些命令查找交换内存占用的线程

命令如下 （大概意思是列出占用内存大多的前3个进程，head 后面的数字代表前多少个）关于命令的详细解释可以看这个链接

ps aux | head -1;ps aux |grep -v PID |sort -rn -k +4 | head -3
下面这个命令也可以，感觉更清晰
ps -aux | sort -k4nr | head -3

最后发现是Pycharm占用了比较多的交互内存，关闭了之后，就解决了问题

《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 29万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
444: Can‘t open MIDR_EL1 sysfs entry和OSError: [Errno 12] Cannot allocate memory错误记录
Together_CZ的博客
10-29 1034
444: Can't open MIDR_EL1 sysfs entry和OSError: [Errno 12] Cannot allocate memory错误记录
OSError: [Errno 12] Cannot allocate memory问题解决
qq_40373651的博客
08-26 1618
内存不够，可以将num_worker值调小
蓝易云 - Centos报错：[Errno 12] Cannot allocate memory怎么解决？
最新发布
高性价比服务器就选：蓝易云
01-27 239
Swap空间是一种虚拟内存，当物理内存不足时，系统会将部分内存数据交换到Swap空间中。请注意，如果内存不足的问题持续出现，建议考虑升级系统的物理内存或优化系统配置，以确保系统具有足够的资源来运行应用程序和服务。如果发现系统的可用内存很少，可以尝试释放一些不必要的内存占用。考虑优化系统资源，关闭不必要的服务或进程，释放不使用的资源，确保系统可以充分利用可用的内存。检查是否有某个进程占用了大量的内存资源，如果是，可以考虑停止或优化该进程。该命令会显示系统的内存使用情况，包括已用、可用和已缓冲的内存量。
python内存分配失败_Python多处理 – 调试OSError：[Errno 12]无法分配内存
weixin_30069113的博客
01-29 1895
我面临以下问题.我正在尝试并行化更新文件的函数,但由于OSError,我无法启动Pool()：[Errno 12]无法分配内存.我开始在服务器上四处看看,这并不像我使用旧的,弱的/实际内存.见htop： 另外,free -m显示我除了大约7GB的交换内存外还有足够的RAM： 而我正在尝试使用的文件也不是那么大.我将粘贴我的代码(和堆栈跟踪),其中,大小如下：使用的预测矩阵数据帧占用大约.根据p...
Error：OSError: [Errno 12] Cannot allocate memory
小花生的博客
12-03 2284
训练PyTorch代码出现：Cannot allocate memory 错误。 解决方法： 修改多线程数量，设置num_workers，系统默认的数量是4，改成1之后，没有效果，后面改成0，问题解决。 ...
死亡Error：OSError: [Errno 12] Cannot allocate memory
breeze210的博客
08-16 3万+
死亡Error：OSError: [Errno 12] Cannot allocate memory 调试背景：使用的是github上https://github.com/arunmallya/packnet这里的代码。 调试的时候，出现Error，如下： main() File "main.py", line 378, in main manager.prune() Fi...
执行Runtime.exec异常: error=12,Cannot allocate memory
chifengxin的专栏
06-28 8665
Exception Trace：In the Linux circumstance, when the program executes till this place:Process p = Runtime.getRuntime().exec(cmdArr);it throws an exception like this：java.io.IOException: Cannot run pr
Pytorch遇到OSError: [Errno 12] Cannot allocate memory问题的解决方案
weixin_42051797的博客
09-17 1万+
1.实验环境:一张1080Ti显卡（11G），2个16G内存，Linux18.04系统 2.遇到问题：pytorch运行深度学习模型遇到报错如下： xx@xx-H310M-A-V2:~/Documents/NTS-Net-master$ python train.py Traceback (most recent call last): File “train.py”, line 58, in ...
一些安装AUTOMATIC1111的Stable Diffusion WebUI常遇到的错误消息的解决方式
weixin_44006864的博客
11-18 2458
一些安装AUTOMATIC1111的Stable Diffusion WebUI常遇到的错误消息的解决方式
通过yolov5训练自己的模型中遇到的一些问题及解决办法
weixin_45145550的博客
05-15 9740
引言 众所周知，跑深度学习的模型是非常需要好显卡的，虽然我的电脑拥有菜菜的显卡（GeForce 920MX），但也能跑起来。最近尝试着用YOLOV5做小项目，因为我菜菜的显卡，容量是真的不够，期间踩了很多坑，现在分享给大家，希望你遇到的时候可以快速解决问题！ 问题一：AssertionError: train: No labels in D:\PycharmProjects\yolov5-master\train\image.cache. Can not train without labels. 解决办法
Pytorch猫狗大战遇见的问题总结
qq_42946328的博客
08-06 1917
Pytorch猫狗大战遇见的问题总结关于命令行界面关于visdom的运行name 'opt' is not defined'dict' object has no attribute 'iteritems'invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python number 本博客的项目代码为《深度学习框架PyTorch：入门与实战》中的代码，参考的PyTorch的入门教程实战这篇博客，
Centos报错：[Errno 12] Cannot allocate memory怎么解决？
高性价比服务器就选：蓝易云
12-18 2645
Swap空间是一种虚拟内存，当物理内存不足时，系统会将部分内存数据交换到Swap空间中。请注意，如果内存不足的问题持续出现，建议考虑升级系统的物理内存或优化系统配置，以确保系统具有足够的资源来运行应用程序和服务。如果发现系统的可用内存很少，可以尝试释放一些不必要的内存占用。考虑优化系统资源，关闭不必要的服务或进程，释放不使用的资源，确保系统可以充分利用可用的内存。检查是否有某个进程占用了大量的内存资源，如果是，可以考虑停止或优化该进程。该命令会显示系统的内存使用情况，包括已用、可用和已缓冲的内存量。
Centos报错：[Errno 12] Cannot allocate memory
自成背后的博客
07-25 4468
[Errno 12] Cannot allocate memory 报错解决
python内存分配失败_Python os.fork OSError：[Errno 12]无法分配内存(但内存不是问题)...
weixin_39517400的博客
12-10 1001
我也有类似的问题：Python subprocess.Popen “OSError: [Errno 12] Cannot allocate memory”我有一个守护进程运行OK几分钟,然后无法通过popen2.Popen3()运行shell程序.它产生20个线程.记忆似乎不是问题;这是在机器上运行的唯一的程序,它具有2G的RAM,并且使用的不足400M.我已经记录了ru_maxrss,这只有50...
使用pytorch时 报错：OSError: [Errno 12] Cannot allocate memory
涛O_O的博客
10-17 3280
问题描述 在使用Pytorch跑模型时，虽然用了GPU，但随着训练的进行，后台占用内存（不是显存）越来越多，直到内存不足，程序崩溃： OSError: [Errno 12] Cannot allocate memory 解决办法 造成这个问题的原因是我在使用循环计算一个epoch内所有batch的loss之和时，直接累加了tensor，导致梯度信息一直保持，内存占用不断增加： for ep...
linux 启动tomcat报错：error=‘Cannot allocate memory‘ (errno=12)
weixin_44021888的博客
09-29 2349
linux 启动tomcat报错：error='Cannot allocate memory' (errno=12)
解决Linux：[Errno 12] Cannot allocate memory问题
热门推荐
rosefun96的博客
10-26 3万+
1. 问题起因 使用Linux（CentOS系统）安装Java，命令行提示： Error downloading packages: libXcursor-1.1.15-1.el7.x86_64: [Errno 5] [Errno 12] Cannot allocate memory 1:xorg-x11-font-utils-7.5-21.el7.x86_64: [Errno 5] [Errno 12] Cannot allocate memory Cannot allocate me
error=‘Cannot allocate memory‘ (errno=12)
SunnyRivers
10-16 1759
Linux中的top命令是一个动态显示过程，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。需要注意的是，在top命令运行的界面中，按下f键可以进入字段管理模式，可以选择要显示的列，并对列的顺序进行调整。NI：进程的nice值，表示进程的优先级调整值，数值越大，优先级越低。RES：进程使用的、未被换出的物理内存大小，单位为KB。PID：进程ID，每个进程都有一个唯一的ID。VIRT：进程使用的虚拟内存总量，单位为KB。PR：进程的优先级，数值越小，优先级越高。
OSError: [Errno 2] ENOENT
07-28
引用\[1\]中提到了一个关于Matplotlib的错误，错误信息是OSError: \[Errno 2\] No such file or directory: ‘latex’: ‘latex’。这个错误通常是由于缺少LaTeX软件包导致的。LaTeX是一种用于排版文档的软件，Matplotlib在生成图形时可能会使用到它。解决这个错误的方法是安装LaTeX软件包。你可以通过以下链接查看如何安装LaTeX软件包：\[1\]。 引用\[2\]中的代码是使用Python的subprocess模块执行traceroute命令的示例。traceroute命令用于跟踪网络数据包在网络中的路径。在这个代码示例中，traceroute命令被执行，并将输出结果存储在stdout中。 引用\[3\]中的代码是使用Python的threading模块创建一个定时执行的任务。在这个例子中，TraceRoute函数将会每隔60*50秒被执行一次。 综上所述，根据提供的引用内容，可以看出问题是关于OSError: \[Errno 2\] ENOENT的。这个错误通常是由于缺少LaTeX软件包导致的。解决这个错误的方法是安装LaTeX软件包。同时，引用\[2\]和\[3\]提供了一些关于使用Python的subprocess和threading模块的示例代码。 #### 引用[.reference_title] - *1* [运行报错： OSError: [Errno 2] No such file or directory: ‘latex](https://blog.csdn.net/qq_39779233/article/details/111879964)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Traceroute的Python脚本在Linux Min中显示错误（OSError:[Errno 2]没有这样的文件或目录）](https://blog.csdn.net/weixin_36098917/article/details/116946147)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值