RuntimeError: DataLoader worker (pid(s) 6432, 27660) exited unexpectedly

最新推荐文章于 2024-04-29 14:32:08 发布
最新推荐文章于 2024-04-29 14:32:08 发布
阅读量405 收藏
点赞数 1
分类专栏： 机器学习 文章标签： python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiao19121921/article/details/136853937
版权
本文讲述了在使用PyTorch的DataLoader时遇到的RuntimeError，尤其是在num_workers设置为多个线程时。解决方法是确保代码在`if__name__==__main__`的块中执行。
摘要由CSDN通过智能技术生成

执行pytorch时报错：

RuntimeError: DataLoader worker (pid(s) 6432, 27660) exited unexpectedly

原因是：

在使用torch.utils.data.DataLoader时调用了多线程num_workers，

torch.utils.data.DataLoader(dataset, batch_size, shuffle=is_train, drop_last=is_train, num_workers=8)

需要将代码放置于  if __name__ == '__main__':    函数内执行。

影子云
关注
专栏目录
RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly
VegetableofDog的博客
05-12 8744
深度学习，Lenet函数的实现，神经网络，
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
原文地址 分类目录——Pytorch 关键词： Data.DataLoader、num_workers、batch Pytorch在开进行小批量数据下降时开多进程报错 报错内容 RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset, # torch TensorDataset format ba
RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly
weixin_42455006的博客
11-02 2652
其实吧，这个问题说难不难，说简单也简单。出现这个Error很明显，就是，而且不是以往那种CPU利用率拉满，而GPU虽然占用率拉满，但实际利用率不高的情况。打个比方，以前是cpu加载数据要个20-30s，但gpu零点几秒就处理完成了，从而一直等待。这种情况只会让模型运行时间变长而已。现在则是两极反转，Dataloader的了。导致cpu加载数据快到飞起，反而GPU跟不上了，就会出现异常，然后杀死进程，出现如上结果。
pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
weixin_36670529的博客
03-07 1万+
报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决 因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。 根据其他方法，我设置num_works=1或者num_works=0都不行。 最后重装了pytorch，就可以了。 pip install torch==1.5.1+cu101 torchvision==0.6.1+cu101 -
RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly
weixin_44575717的博客
02-18 3469
RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly
RuntimeError: DataLoader worker (pid(s) ~) 的原因及解决方法
Twosad的博客
02-26 1356
在workers和batch_size参数之间做出适当的平衡。将 num_workers 减少到不会导致错误的值，
Pytorch中Dataloader踩坑：RuntimeError: DataLoader worker (pid(s) 6700, 10620) exited unexpectedly
热门推荐
qq_38662733的博客
09-12 2万+
Pytorch中Dataloader踩坑环境：问题背景：观察报错信息进行分析根据分析进行修改尝试总结 环境： 系统：windows10 Pytorch版本：1.5.1+cu101 问题背景： 直接上代码（来源莫烦Python）： import torch import torch.utils.data as Data print(torch.__version__) BATACH_SIZE = 5 x = torch.linspace(1,10,10) # [1, 2, 3, 4, 5
成功解决：RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly
jerry zhang的sally wu
12-19 2万+
num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 将num_workers改为0即可，0是默认值。
RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly
Atopos_的博客
03-14 889
这个问题，到网上搜说是cudnn和cuda不匹配，但我下载安装的时候两个版本是匹配的。虚拟内存的最定义的最大值设置的越大，workers就可以设置的越大。workers设置为2时，代码可以正常运行。都可以尝试去更改相应虚拟空间的虚拟内存。选择虚拟内存的更改，出现如下界面。当workers设置为4时，出现。当workers设置为8时，出现。在电脑的高级系统设置 ->
RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly
08-15
根据引用中提供的方法，解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的方法是进行以下操作： 1. 根据引用的提示，找到相关代码的位置，并将函数体里的代码修改为黄线的语句： ```...
RuntimeError: DataLoader worker (pid(s) 5076, 8952) exited unexpectedly
08-10
- *1* *3* [(已解决)Error: RuntimeError: DataLoader worker (pid(s) xxxxx) exited unexpectedly](https://blog.csdn.net/weixin_38787389/article/details/127772206)[target="_blank" data-report-click={"spm":...
RuntimeError: DataLoader worker (pid(s) 10612) exited unexpectedly
08-15
这个错误通常表示DataLoader的工作进程意外退出。有几种可能的原因和解决方法： 1. 内存不足：如果你的系统内存不足，可能会导致工作进程退出。你可以尝试减少批次大小或者增加系统内存来解决这个问题。 2. 数据集...
RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly
ODALEX的博客
04-15 6157
RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly（运行时错误：DataLoader工作进程(pid(s)xxxx,xxxx意外退出） 运行时错误：DataLoader工作进程(PID)xxxx,xxxx意外退出 欢迎使用Markdown编辑器 在win10上运行超分辨率DRN算法里面的main.py文件其代码如下 import utility import data import model import loss
D2L，Pytorch win10下使用dataloader时出现runtimeerror: dataloader worker (pid(s) ) exited unexpectedly的解决方案
qq_52712475的博客
03-29 7553
我是用python3.8+pytorch1.11，在李沐老师的课程展示中使用的环境是linux没有报错，但win10下在dataloader使用前需要加上。网上还有其他方法将num_worker设为0也可以单线程成功运行,不过直接导入d2l的dataloader没有对应的参数。freeze_support()函数在linux和类unix系统上可直接运行，在windows系统中需要跟在main后边。程序在运行时启用了多线程，而多线程的使用用到了freeze_support()函数。
RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) from e
始于足下
08-31 2880
dataloader
/compile-server“): error=0, Failed to exec spawn helper: pid: 257603, exit value: 1
wbkys的专栏
03-06 2236
JetBrains远程开发如果遇到以上问题，修改下面路径文件。添加红字部分保存，亲测可用。
(已解决)Error: RuntimeError: DataLoader worker (pid(s) xxxxx) exited unexpectedly
weixin_38787389的博客
11-09 4570
pytorch载入数据多进程的问题。
RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly’.format(pids_str))
最新发布
独自登高楼 望断天涯路
04-29 454
原文链接：https://blog.csdn.net/weixin_42455006/article/details/127656107)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值