RuntimeError: DataLoader worker (pid(s) 2571167) exited unexpectedly

最新推荐文章于 2024-02-26 15:50:06 发布
最新推荐文章于 2024-02-26 15:50:06 发布
阅读量3.1k 收藏 7
点赞数
分类专栏： 计算机散养 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/abysssssssssss/article/details/128560687
版权

参考：https://blog.csdn.net/BBJG_001/article/details/104354990

网上解决方案大概是这两种，但是num_worker变成0训练效率降低很多

主要原因我猜想是在dataloader里使用了opencv占用内存较大

原来的opencv是安装python的时候自己安装好的，尝试升级opencv 3.X → 4.X

pip install opencv-python

成功解决

AbyssssssssssS
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
原文地址 分类目录——Pytorch 关键词： Data.DataLoader、num_workers、batch Pytorch在开进行小批量数据下降时开多进程报错 报错内容 RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset, # torch TensorDataset format ba
RuntimeError: Cannot run the event loop while another loop is running(目前没有解决)
12-21
代码如下: import tornado.ioloop import tornado.web from tornado.httpclient import HTTPClient, AsyncHTTPClient class MainHandler(tornado.web.RequestHandler): # 同步 def get(self): h_c = HTTPClient() res = h_c.fetch("http://www.baidu.com") # print(res) # pass
(已解决)Error: RuntimeError: DataLoader worker (pid(s) xxxxx) exited unexpectedly
weixin_38787389的博客
11-09 4280
pytorch载入数据多进程的问题。
RuntimeError: DataLoader worker (pid(s) ~) 的原因及解决方法
最新发布
Twosad的博客
02-26 1158
在workers和batch_size参数之间做出适当的平衡。将 num_workers 减少到不会导致错误的值，
D2L，Pytorch win10下使用dataloader时出现runtimeerror: dataloader worker (pid(s) ) exited unexpectedly的解决方案
qq_52712475的博客
03-29 7250
我是用python3.8+pytorch1.11，在李沐老师的课程展示中使用的环境是linux没有报错，但win10下在dataloader使用前需要加上。网上还有其他方法将num_worker设为0也可以单线程成功运行,不过直接导入d2l的dataloader没有对应的参数。freeze_support()函数在linux和类unix系统上可直接运行，在windows系统中需要跟在main后边。程序在运行时启用了多线程，而多线程的使用用到了freeze_support()函数。
正确解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly，亲测有效
热门推荐
weixin_43917589的博客
05-27 2万+
错误原因：torch.utils.data.DataLoader中的num_workers错误 将num_workers改为0即可，0是默认值。 num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 若： 将num_workers设置为0，程序报错，并提示设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 那你可以在设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 或者使用临时环境变量：（在代码开始处添加这行代码） os.environ['KMP_DUPL
RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly
VegetableofDog的博客
05-12 8226
深度学习，Lenet函数的实现，神经网络，
RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) from e
d8dongdong的博客
08-31 2709
dataloader
Numpy实现ParticleSwarmOptimizedNN（粒子群优化算法）
AI浩
11-26 3054
本专栏是讲解如何改进Yolov8的专栏。改进方法采用了最新的论文提到的方法。改进的方法包括：增加注意力机制、更换卷积、更换block、更换backbone、更换head、更换优化器等；每篇文章提供了一种到N种改进方法。评测用的数据集是我自己标注的数据集，里面包含32种飞机。每种改进方法我都做了测评，并与官方的模型做对比。代码和PDF版本的文章，我在验证无误后会上传到百度网盘中，方便大家下载使用。这个专栏，求质不求量，争取尽心尽力打造精品专栏！！！！！
RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly
weixin_42455006的博客
11-02 2377
其实吧，这个问题说难不难，说简单也简单。出现这个Error很明显，就是，而且不是以往那种CPU利用率拉满，而GPU虽然占用率拉满，但实际利用率不高的情况。打个比方，以前是cpu加载数据要个20-30s，但gpu零点几秒就处理完成了，从而一直等待。这种情况只会让模型运行时间变长而已。现在则是两极反转，Dataloader的了。导致cpu加载数据快到飞起，反而GPU跟不上了，就会出现异常，然后杀死进程，出现如上结果。
成功解决：RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly
jerry zhang的sally wu
12-19 2万+
num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 将num_workers改为0即可，0是默认值。
pytorch::Dataloader中的迭代器和生成器应用详解
09-18
主要介绍了pytorch::Dataloader中的迭代器和生成器应用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
Python RuntimeError: thread.__init__() not called解决方法
09-22
主要介绍了Python RuntimeError: thread.__init__() not called解决方法,需要的朋友可以参考下
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
01-21
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+（建议用pychon3.6版本，我...
交换机配置实验文件PPT
04-28
我们学校比较详尽的网络拓扑，有锐捷网络公司开发，上传此资料，希望大家能够受益，很不错的资料啊。 我们学校比较详尽的网络拓扑，有锐捷网络公司开发，上传此资料，希望大家能够受益，很不错的资料啊。...
RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly
ODALEX的博客
04-15 5764
RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly（运行时错误：DataLoader工作进程(pid(s)xxxx,xxxx意外退出） 运行时错误：DataLoader工作进程(PID)xxxx,xxxx意外退出 欢迎使用Markdown编辑器 在win10上运行超分辨率DRN算法里面的main.py文件其代码如下 import utility import data import model import loss
沐神《动手学深度学习》报错 解决方案RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly
big_sha_4017的博客
09-09 2650
（如果不是pycharm则需要进入到d2l包的文件夹中寻找torch.py这个函数）网上有很多教程说修改num_works=0但没说具体步骤，摸索了一下分享给大家。get_dataloader_workers() 进入d2l.torch。我使用的是pycharm 使用右上角的搜索功能，输入。下的return 4 改为 return 0。3.6 softmax回归的从零开始实现。报了一溜错误，其中最后一行为。最后运行程序不再报错。
pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
weixin_36670529的博客
03-07 1万+
报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决 因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。 根据其他方法，我设置num_works=1或者num_works=0都不行。 最后重装了pytorch，就可以了。 pip install torch==1.5.1+cu101 torchvision==0.6.1+cu101 -
RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly
08-15
根据引用中提供的方法，解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的方法是进行以下操作： 1. 根据引用的提示，找到相关代码的位置，并将函数体里的代码修改为黄线的语句： ```python def get_dataloader_workers(): """Use 4 processes to read the data. Defined in :numref:`sec_fashion_mnist`""" return 0 if sys.platform.startswith('win') else 4 ``` 2. 可以尝试增加num_workers的值，根据引用的建议，适当增加num_workers可以提高DataLoader的并行性，从而减少DataLoader进程crash的可能性。但是要注意不要增加过多，以免过多占用系统资源。 这些操作可能会帮助解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的问题。希望能够帮到你。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly](https://blog.csdn.net/VegetableofDog/article/details/124726339)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly](https://blog.csdn.net/weixin_44575717/article/details/129100184)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值