成功解决：RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly

最新推荐文章于 2024-04-07 15:27:33 发布
最新推荐文章于 2024-04-07 15:27:33 发布
阅读量2.1w 收藏 43
点赞数 33
分类专栏： debug 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shine_00/article/details/122030616
版权

num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。
将num_workers改为0即可，0是默认值。

新奥尔良仙
关注
  • 33
    点赞
  • 踩
  • 43
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
原文地址 分类目录——Pytorch 关键词： Data.DataLoader、num_workers、batch Pytorch在开进行小批量数据下降时开多进程报错 报错内容 RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset, # torch TensorDataset format ba
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
weixin_36670529的博客
03-07 1万+
报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决 因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。 根据其他方法，我设置num_works=1或者num_works=0都不行。 最后重装了pytorch，就可以了。 pip install torch==1.5.1+cu101 torchvision==0.6.1+cu101 -
解决《动手学深度学习》6.6报错RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly
最新发布
REBACCAASIA的博客
04-07 305
查询发现是系统内存不足，设置虚拟内存可以解决问题，于是把D盘（conda安装位置）虚拟内存设置为8000M，重启后再次运行，解决以上两个报错。[WinError 1455] 页面文件太小,无法完成操作。PS：一开始设置的是10000M，但VScode卡死了QwQ。查询是多线程运行时出现错误，但网上所有方式都解决不了。
RuntimeError: DataLoader worker (pid(s) 13952, 14260) exited unexpectedly 解决办法
热门推荐
Moon2105的博客
07-22 1万+
Traceback (most recent call last): File "<ipython-input-48-37d70fab5553>", line 1, in <module> runfile('D:/Pytorch Learning/mofan_code/optimizer.py', wdir='D:/Pytorch Learning/mofan...
python报错 python raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_s
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
02-05 4236
1、问题 python raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str)) 2、解决 将num_workers设置为0 一般出现在加载数据的地方 代码import还需要设置环境变量 import os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE' ...
RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly
weixin_42455006的博客
11-02 2368
其实吧，这个问题说难不难，说简单也简单。出现这个Error很明显，就是，而且不是以往那种CPU利用率拉满，而GPU虽然占用率拉满，但实际利用率不高的情况。打个比方，以前是cpu加载数据要个20-30s，但gpu零点几秒就处理完成了，从而一直等待。这种情况只会让模型运行时间变长而已。现在则是两极反转，Dataloader的了。导致cpu加载数据快到飞起，反而GPU跟不上了，就会出现异常，然后杀死进程，出现如上结果。
raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str))RuntimeErro
阿伟的博客
03-22 1万+
今天在使用pytorch加载数据时出现如下错误： raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str)) RuntimeError: DataLoader worker (pid(s) 4252, 17184) exited unexpectedly 仔细分析了一下，原因定位在num_workers dataloader = DataLoader(dataset,batch_s
RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly
ODALEX的博客
04-15 5733
RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly（运行时错误：DataLoader工作进程(pid(s)xxxx,xxxx意外退出） 运行时错误：DataLoader工作进程(PID)xxxx,xxxx意外退出 欢迎使用Markdown编辑器 在win10上运行超分辨率DRN算法里面的main.py文件其代码如下 import utility import data import model import loss
《动手学深度学习》之深度卷积神经网络（AlexNet）
乾巽的博客
02-06 357
参考深度卷积神经网络（AlexNet） import time import torch from torch import nn, optim import torchvision import sys sys.path.append("..") import d2lzh_pytorch as d2l device = torch.device('cuda' if torch.cuda....
pytorch: RuntimeError: DataLoader worker (pid(s) 27292) exited unexpectedly
Jinpeijie217的博客
03-09 3946
厉害了。。。。用win10特有的bug？？？？？？？？搞半天，就是把pytorch下dataloader的其中一个num_workers参数注释掉。可能是win10只有一个thread的原因。 torch.utils.data.DataLoader( self.dataset, # dataset class batch_size=opt.batchSize, # h...
【Python】 raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) fr
...
01-16 3798
实验室也没有可以使用的机器，只能在自己的电脑上跑，本机性能堪忧，在跑num_workers=2的数据都吃不消 test_dataloader = D.DataLoader(test_datasets,BATCH,True,num_workers=2) 改成：(删掉num_workers=2) test_dataloader = D.DataLoader(test_datasets,BATCH,True) ...
Python RuntimeError: thread.__init__() not called解决方法
09-22
主要介绍了Python RuntimeError: thread.__init__() not called解决方法,需要的朋友可以参考下
runtimeerror_notifier:runtimeerror_notifier gem 适用于那些没有电子邮件发送资源的人
06-10
运行时错误.net 这个 gem 充当的代理。 为代理安装 gem 以处理应用...为防止在开发时发出错误，请确保RUNTIMEERROR_EMAIL设置环境变量RUNTIMEERROR_EMAIL 。 执照 :copyright: RuntimeError.net 2013。查看许可证了
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
01-21
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+（建议用pychon3.6版本，我...
RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly
Atopos_的博客
03-14 622
这个问题，到网上搜说是cudnn和cuda不匹配，但我下载安装的时候两个版本是匹配的。虚拟内存的最定义的最大值设置的越大，workers就可以设置的越大。workers设置为2时，代码可以正常运行。都可以尝试去更改相应虚拟空间的虚拟内存。选择虚拟内存的更改，出现如下界面。当workers设置为4时，出现。当workers设置为8时，出现。在电脑的高级系统设置 ->
RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly
weixin_44575717的博客
02-18 3139
RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly
RuntimeError: DataLoader worker (pid(s) ~) 的原因及解决方法
Twosad的博客
02-26 1143
在workers和batch_size参数之间做出适当的平衡。将 num_workers 减少到不会导致错误的值，
raise RuntimeError(f‘DataLoader worker (pid(s) {pids_str}) exited unexpectedly‘) from e Runtime
qq_53821535的博客
11-25 505
最近新入手了一个二手的macbook air m1 准备测试一下m1应对机器学习的能力 找到一位老哥的文章以及代码进行测试： https://blog.csdn.net/KaelCui/article/details/106184158运行范例代码之后出现如下错误提示： raise RuntimeError(f’DataLoader worker (pid(s) {pids_str}) exited unexpectedly’) from e RuntimeError: DataLoader worker
RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly
08-15
根据引用中提供的方法，解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的方法是进行以下操作： 1. 根据引用的提示，找到相关代码的位置，并将函数体里的代码修改为黄线的语句： ```python def get_dataloader_workers(): """Use 4 processes to read the data. Defined in :numref:`sec_fashion_mnist`""" return 0 if sys.platform.startswith('win') else 4 ``` 2. 可以尝试增加num_workers的值，根据引用的建议，适当增加num_workers可以提高DataLoader的并行性，从而减少DataLoader进程crash的可能性。但是要注意不要增加过多，以免过多占用系统资源。 这些操作可能会帮助解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的问题。希望能够帮到你。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly](https://blog.csdn.net/VegetableofDog/article/details/124726339)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly](https://blog.csdn.net/weixin_44575717/article/details/129100184)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值