方法1:
ulimit -a
liinux默认为打开文件数为1024
ulimit -n 51200修改打开文件最大数
2、若ulimit修改没有权限
因为多线程的tensor默认方式为file_descriptor
详情见 https://www.cntofu.com/book/169/docs/1.0/multiprocessing.md
更改方式为file_system
具体:
import torch.multiprocessing
torch.multiprocessing.set_sharing_strategy(‘file_system’)
linux解决打开太多文件或者raise EOF
最新推荐文章于 2023-02-20 23:51:24 发布