笔记13-OSError: [Errno 24] Too many open files

已于 2024-04-29 15:57:46 修改
阅读量975 收藏 30
点赞数 33
文章标签： 服务器 深度学习
于 2024-04-29 15:54:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tfxzgp/article/details/137788502
版权

文章目录

参考文献

Linux 最大可以打开多少文件描述符？
OSError: [Errno 24] Too many open files错误解决方法。
[出现OSError: [Errno 24] Too many open files错误解决方法。]
查看线程数和句柄和进程最大文件连接数

失败尝试系列

报错

Running on class bagel
Extracting training-features for class bagel:   0%|     | 0/244 [00:00<?, ?it/s]Traceback (most recent call last):
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/queues.py", line 234, in _feed
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 51, in dumps
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/multiprocessing/reductions.py", line 329, in reduce_storage
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 191, in DupFd
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/resource_sharer.py", line 48, in init
OSError: [Errno 24] Too many open files

停止程序

Extracting training-features for class bagel:   0%|     | 0/244 [00:00<?, ?it/s]Traceback (most recent call last):
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/queues.py", line 234, in _feed
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 51, in dumps
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/multiprocessing/reductions.py", line 329, in reduce_storage
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 191, in DupFd
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/resource_sharer.py", line 48, in init
OSError: [Errno 24] Too many open files
Extracting training-features for class bagel:   0%|     | 0/244 [01:16<?, ?it/s]
Traceback (most recent call last):
File "/home/cszx/zgp/Shape-Guided-main/Shape-Guided-main/main.py", line 92, in <module>
patchcore.fit()
File "/home/cszx/zgp/Shape-Guided-main/Shape-Guided-main/core/shape_guide_core.py", line 99, in fit
for train_data_id, (sample, _) in enumerate(tqdm(data_loader, desc=f'Extracting training-features for class {self.class_name}')):
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/tqdm/std.py", line 1195, in iter
for obj in iterable:
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 521, in next
data = self._next_data()
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 1186, in _next_data
idx, data = self._get_data()
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 1142, in _get_data
success, data = self._try_get_data()
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 990, in _try_get_data
data = self._data_queue.get(timeout=timeout)
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/queue.py", line 173, in get
self.not_empty.wait(remaining)
File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/threading.py", line 299, in wait
gotit = waiter.acquire(True, timeout)
KeyboardInterrupt
Process finished with exit code 1

查看发现，似乎是因为线程数有限制

(zgp_shape) ~/.cache/torch/hub/checkpoints ulimit -n
1024
(zgp_shape) ~/.cache/torch/hub/checkpoints ulimit -n 2048
线程限制增加，仍然不行，继续增加
ulimit -n 4096
仍然不行，继续增加时候提示
ulimit -n 9192
ulimit: value exceeds hard limit
因此查看
(zgp_shape) ~/.cache/torch/hub/checkpoints cat /proc/sys/fs/nr_open
1048576
(zgp_shape) ~/.cache/torch/hub/checkpoints ulimit -Hn 9192
ulimit: can’t raise hard limits

修改配置

参考
出现OSError: [Errno 24] Too many open files错误解决方法。
o：在当前行下方新开一行并进入插入模式。
O：在当前行上方新开一行并进入插入模式。
esc：退出插入模式，回到普通模式。
h：左移一个字符。
j：下移一行。
k：上移一行。
l：右移一个字符。
i：进入插入模式。
在这里插入图片描述
仍然不能继续提高提高，且仍然报错
Running on class bagel

Extracting training-features for class bagel: 0%| | 0/244 [00:00<?, ?it/s]Traceback (most recent call last):
File “/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/queues.py”, line 234, in _feed
File “/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py”, line 51, in dumps
File “/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/multiprocessing/reductions.py”, line 329, in reduce_storage
File “/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py”, line 191, in DupFd
File “/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/resource_sharer.py”, line 48, in init
OSError: [Errno 24] Too many open files

通过sudo
sudo sh -c “ulimit -n 65535 && exec su $LOGNAME”

(base) ~ sudo sh -c "ulimit -n 65535 && exec su $csdx"   
[sudo] password for cszx: 
sudo: 3 incorrect password attempts
(base) ~ 
(base) ~ sudo sh -c "ulimit -n 65535 && exec su $cszx"
[sudo] password for cszx: 
[root@localhost]/home/cszx#   
[root@localhost]/home/cszx# ulimit -Hn 65535
[root@localhost]/home/cszx# ulimit -n       
65535
[root@localhost]/

仍然如此，
[root@localhost]/home/cszx# exec su cszx
(base) ~ ulimit -n
65535

仍然如此
Running on class bagel

Extracting training-features for class bagel:   0%|     | 0/244 [00:00<?, ?it/s]Traceback (most recent call last):
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/queues.py", line 234, in _feed
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 51, in dumps
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/multiprocessing/reductions.py", line 329, in reduce_storage
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 191, in DupFd
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/resource_sharer.py", line 48, in __init__
OSError: [Errno 24] Too many open files
·

继续增加

(base) ~ sudo sh -c "ulimit -n 165535 && exec su $cszx"
[sudo] password for cszx: 
[root@localhost]/home/cszx# exec su $cszx
[root@localhost]/home/cszx# 
[root@localhost]/home/cszx# exec su cszx
(base) ~ ulimit -Hn
165535
(base) ~ ulimit -n                                     
165535

仍然不行

先查查看

(base) ~ ulimit -a
-t: cpu time (seconds)              unlimited
-f: file size (blocks)              unlimited
-d: data seg size (kbytes)          unlimited
-s: stack size (kbytes)             8192
-c: core file size (blocks)         0
-m: resident set size (kbytes)      unlimited
-u: processes                       4096
-n: file descriptors                165535
-l: locked-in-memory size (kbytes)  64
-v: address space (kbytes)          unlimited
-x: file locks                      unlimited
-i: pending signals                 766851
-q: bytes in POSIX msg queues       819200
-e: max nice                        0
-r: max rt priority                 0
-N 15:

(base) / pgrep -f “python”
1549
2054
94876
95091
(base) / sudo ls /proc/94876/fd | wc -l
[sudo] password for cszx:
52
(base) / sudo ls /proc/2054/fd | wc -l
14
(base) / sudo ls /proc/1549/fd | wc -l
11
(base) / sudo ls /proc/95091/fd | wc -l
315
没看见有打开很多文件的进程，不敢再调大了。
难道可能是进度条的锅，决定在代码中去掉(其实不是)
在这里插入图片描述
报错变了

Traceback (most recent call last):
  File "/home/cszx/zgp/Shape-Guided-main/Shape-Guided-main/core/shape_guide_core.py", line 4, in <module>
    from core.rgb_sdf_feature import RGBSDFFeatures, SDFFeature
ModuleNotFoundError: No module named 'core'

Process finished with exit code 1

右键exludeded后

Running on class bagel

Traceback (most recent call last):
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/queues.py", line 234, in _feed
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 51, in dumps
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/multiprocessing/reductions.py", line 329, in reduce_storage
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 191, in DupFd
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/resource_sharer.py", line 48, in __init__
OSError: [Errno 24] Too many open files
唉，原报错又回来了
Traceback (most recent call last):
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/queues.py", line 234, in _feed
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 51, in dumps
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/multiprocessing/reductions.py", line 329, in reduce_storage
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/reduction.py", line 191, in DupFd
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/multiprocessing/resource_sharer.py", line 48, in __init__
OSError: [Errno 24] Too many open files
^CTraceback (most recent call last):
  File "/home/cszx/zgp/Shape-Guided-main/Shape-Guided-main/main.py", line 92, in <module>
    patchcore.fit()
  File "/home/cszx/zgp/Shape-Guided-main/Shape-Guided-main/core/shape_guide_core.py", line 100, in fit
    for train_data_id, (sample, _) in enumerate(data_loader):
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 521, in __next__
    data = self._next_data()
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 1186, in _next_data
    idx, data = self._get_data()
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 1142, in _get_data
    success, data = self._try_get_data()
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 990, in _try_get_data
    data = self._data_queue.get(timeout=timeout)
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/queue.py", line 173, in get
    self.not_empty.wait(remaining)
  File "/home/cszx/miniconda3/envs/zgp_shape/lib/python3.6/threading.py", line 299, in wait
    gotit = waiter.acquire(True, timeout)
KeyboardInterrupt

此时

(base) / sudo ls /proc/*/fd | wc -l
2322
(base) / sudo ls /proc/*/fd | wc -l
[sudo] password for cszx: 
1943
(base) / sudo ls /proc/*/fd | wc -l
2302

重启

增加文件数限制，然后使用命令运行（成功）

(base) ~ conda activate zgp_shape         
(zgp_shape) ~ ulimit -n 2048
(zgp_shape) ~ ulimit -n 4096

对pycharm还是没有作用
但是改为在SSH虚拟环境命令行使用命令运行就可以了

桂萍
关注
  • 33
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python错误提示：[Errno 24] Too many open files的分析与解决
12-24
背景 最近在工作中发现了一个错误，在执行多线程扫描脚本的时候频繁出现下面这个错误 HTTPConnectionPool(host=‘t.tips', port=80): Max retries exceeded with url: /index.php (Caused by NewConnectionError('<requests>: Failed to establish a new connection: [Errno 24] Too many ope
OSError: [Errno 22] Invalid argument问题解决
12-21
OSError: [Errno 22] Invalid argument问题解决问题描述解决方法那么问题出在哪了?总结 问题描述 在做SSD目标检测算法的时候，在predict.py文件中遇到了这么一个报错的问题。 // ERROR Traceback (most recent call ...
OError: [Errno 24] Too many open files:问题解决
最新发布
Hydra_Zhang的博客
02-29 1329
IOError: [Errno 24] Too many open files 问题解决
OSError: [Errno 24] Too many open files:
weixin_45833431的博客
05-18 817
版权声明：本文为CSDN博主「爱的太深，太认真」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/m0_55837832/article/details/116695693。a、ulimit -n 2048（此方法为临时修改，当前有效，退出后就恢复原来设置）果然如我所预想，得到的结果是1024，就是说系统限制为同时打开1024个文件。1、将自己的线程数改小，使之符合这个限制（只是方法）。2、将这个限制值改大。
OSError: [Errno 24] Too many open files
wuchongyong的博客
08-01 814
文件句柄
执行mysqldump 出现errno24错误：Too many open files
测试工程师Eric的路...
01-07 1586
事件 需要对数据库xxxdb进行备份 执行 mysqldump --databases xxxdb > xxxdb.mysql 报错 mysqldump: Got error: 1016: “Can’t open file: ‘./xxxdb/userio_day6_12_hour.frm’ (errno: 24)” when using LOCK TABLES 检查 perror 24 :...
出现OSError: [Errno 24] Too many open files错误解决方法。
weixin_46779338的博客
12-14 8221
出现OSError: [Errno 24] Too many open files错误解决方法。
mask R-CNN报错：OSError: Unable to open file-附件资源
03-02
mask R-CNN报错：OSError: Unable to open file-附件资源
OSError:[Errno 4]Interrupted system call
12-22
OSError:[Errno 4]Interrupted system call 问题描述： File “/anaconda2/python2.7/multiprocessing/reduction.py”, line 157, in rebuild_handle new_handle = recv_handle(conn) File “/anaconda2/python2.7/...
OSError: [Errno 24] Too many open files错误解决方法。
热门推荐
m0_55837832的博客
05-12 1万+
OSError: [Errno 24] Too many open files 今天在开发过程中遇到了以上报错，大致场景是我使用线程池实现文件的读写。所以正常我会使用1000-2000个线程去打开文件，所以大概率为系统限制。 输入以下命令： $ ulimit -n 1024 果然如我所预想，得到的结果是1024，就是说系统限制为同时打开1024个文件。 修改方法： 1、将自己的线程数改小，使之符合这个限制（只是方法）。 2、将这个限制值改大。 a、ulimit -n 2048（此方法为临时修改，当前有效，退
OSError: [Errno 24] Too many open files的解决办法
Blue
03-22 3427
今天项目突然就报错OSError: [Errno 24] Too many open files 百度查了半天 网上普遍解决办法都是 先 ulimit –a 命令查看系统open files句柄的限制 然后修改最大的限制 不过我这里试过了 发现我改了也不行 最后突然想起来 我的项目是supervisord托管启动的 会不会跟这个有关系 于是去查看supervisord的配置文件 发现了这一行 minfds=1024 ; (min. avail startup file des
Pytorch报错 OSError: [Errno 24] Too many open files
weixin_43762310的博客
03-14 550
在迭代过程中不断打开图片，使得最终图片打开数量超过线程数，因而产生报错。而由于图片数量过多，采用文档中所采用的调整线程数的方法。报错出现在dataset类的建立过程中，根据报错描述可知，是由于短时间内打开过多文件所致。关闭，从而避免图片打开数量过多。
pytorch报错OSError: [Errno 24] Too many open files
weixin_45693324的博客
05-27 395
运行pytorch项目报错：[Errno 24] Too many open files 我觉得是因为每次打印日志文件的时候忘记关闭文件导致的 writer.add_scalar('G hole loss', loss_hole.item(), count) 之前在这之后有一句： writer.close() 不知道什么时候被误删除了。 记录一下。 正在验证中 ... ... ...
pytoch报错OSError: [Errno 24] Too many open files
风中落泪的花
07-11 9254
因为默认的file_descriptor共享策略使用文件描述符作为共享内存句柄，并且当DataLoader上有太多批次时，这将达到限制。 要解决此问题，您可以通过将其添加到脚本来切换到file_system策略。 在最后的import后面添加 import torch.multiprocessing torch.multiprocessing.set_sharing_strategy('file_...
python OSError: [Errno 24] Too many open files | HTTPConnectionPool(host=‘‘, port=80): Max retries e
hanhan的博客
01-17 4071
对于问题：python OSError: [Errno 24] Too many open files 原因:超出了进程同一时间最多可开启的文件数. 解决方案P: 使用ulimit -n查看进程同一时间最多可开启的文件数 mac默认是256，linux是1024 修改 sudo vim /etc/security/limits.conf 这个文件的最后添加两行代码,这里我修改限制为6000 * soft nofile 6000 * hard nofile 6000 修改上面的文件数可以发现也可以解决这个报
OSError:[Error 24] Too many open files python 解决方案
black_sea_heart的博客
04-27 4331
OSError:[Error 24] Too many open files python 解决方案 问题描述问题排查 问题描述 在高并发或者接口压测过程中常常会遇到的错误，这里并不是程序中打开文件过多，而是某个时间端服务打开的连接数超出服务器的句柄数限制所导致的报错。所以这里我们不要惊慌或者自己的代码出了bug，我的服务是使用supervisor进行管理的，在压测过程中出现了这个问题。 问题排查 通过 ps -ef 查看自己服务的进程ID，再通过lsof -p pid | wc -l 查看当前服务打开
解决[Errno 24] Too many open files
weixin_33709590的博客
10-27 2928
2019独角兽企业重金招聘Python工程师标准>>> ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值