(已解决)Error: RuntimeError: DataLoader worker (pid(s) xxxxx) exited unexpectedly

已于 2022-11-09 16:41:29 修改
阅读量4.2k 收藏 4
点赞数 1
分类专栏： 调试代码的一些错误解决 文章标签： python
于 2022-11-09 16:41:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38787389/article/details/127772206
版权

发生这个错误，据说是因为多进程的问题：比如代码中的loader的定义如下：

 

 此处就是4进程load数据。

解决办法就是把这个NUM_WORKERS,也就是num_works设置为0。不用多进程。

有个博主说把含有多进程操作的部分放在if __name__ == '__main__'的内，Python中多进程（multiprocessing这个模块包）的内容必须放在if __name__ == '__main__'之内才可以。

可以试着在你的环境中安装multiprocessing这个包看有没有效果

 参见：(34条消息) RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly_BBJG_001的博客-CSDN博客_dataloader报错pid exited unexpected

Sjmanman
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
原文地址 分类目录——Pytorch 关键词： Data.DataLoader、num_workers、batch Pytorch在开进行小批量数据下降时开多进程报错 报错内容 RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset, # torch TensorDataset format ba
成功解决:RuntimeError: DataLoader worker (pid(s) 10188) exited unexpectedly
haosen
04-01 539
错误原因：torch.utils.data.DataLoader中的num_workers错误。num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。将num_workers改为0即可，0是默认值。地址是安装目录：dataloader.py。
RuntimeError: DataLoader worker (pid(s) ~) 的原因及解决方法
最新发布
Twosad的博客
02-26 1157
在workers和batch_size参数之间做出适当的平衡。将 num_workers 减少到不会导致错误的值，
runtimeerror_notifier:runtimeerror_notifier gem 适用于那些没有电子邮件发送资源的人
06-10
运行时错误.net 这个 gem 充当的代理。 为代理安装 gem 以处理应用程序中未捕获的异常。 安装（Rails 3） 步骤 1.将它作为 gem 添加到Gemfile 中 gem 'runtimeerror_notifier' Step 2.执行以下命令生成config/initializers/runtimeerror_notifier.rb RAILS_ENV=production rails generate runtimeerror_notifier:install 步骤 3.从获取一个秘密电子邮件地址，然后将其设置为环境变量RUNTIMEERROR_EMAIL 防止开发中的错误 为防止在开发时发出错误，请确保RUNTIMEERROR_EMAIL设置环境变量RUNTIMEERROR_EMAIL 。 执照 :copyright: RuntimeError.net 2013。查看许可证了
交换机配置实验文件PPT
04-28
我们学校比较详尽的网络拓扑，有锐捷网络公司开发，上传此资料，希望大家能够受益，很不错的资料啊。 我们学校比较详尽的网络拓扑，有锐捷网络公司开发，上传此资料，希望大家能够受益，很不错的资料啊。 我们学校比较详尽的网络拓扑，有锐捷网络公司开发，上传此资料，希望大家能够受益，很不错的资料啊。 我们学校比较详尽的网络拓扑，有锐捷网络公司开发，上传此资料，希望大家能够受益，很不错的资料啊。
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
01-21
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+（建议用pychon3.6版本，我之前用3.8版本安装不上numpy）， 2.搜索numpy,注意把下面对号点上 3.现在简单用numpy还是会报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site
D2L，Pytorch win10下使用dataloader时出现runtimeerror: dataloader worker (pid(s) ) exited unexpectedly的解决方案
qq_52712475的博客
03-29 7250
我是用python3.8+pytorch1.11，在李沐老师的课程展示中使用的环境是linux没有报错，但win10下在dataloader使用前需要加上。网上还有其他方法将num_worker设为0也可以单线程成功运行,不过直接导入d2l的dataloader没有对应的参数。freeze_support()函数在linux和类unix系统上可直接运行，在windows系统中需要跟在main后边。程序在运行时启用了多线程，而多线程的使用用到了freeze_support()函数。
《动手学深度学习》报错 解决方案RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly
xincanzheZ的博客
10-21 1万+
《动手学深度学习》报错 解决方案RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly，找到get_dataloader_workers()函数。
成功解决：RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly
jerry zhang的sally wu
12-19 2万+
num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 将num_workers改为0即可，0是默认值。
Python RuntimeError: thread.__init__() not called解决方法
09-22
主要介绍了Python RuntimeError: thread.__init__() not called解决方法,需要的朋友可以参考下
Vue项目报错：Uncaught SyntaxError: Unexpected token <
10-17
主要介绍了Vue项目报错：Uncaught SyntaxError: Unexpected token <，在引入第三方依赖的 JS 文件时，遇到的一个问题，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
Asp.Net 程序错误Runtime Error原因与解决
10-29
提示这个，不管怎么改配置文件的设置都不行，下面是修正方法，大家可以试试。
正确解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly，亲测有效
热门推荐
weixin_43917589的博客
05-27 2万+
错误原因：torch.utils.data.DataLoader中的num_workers错误 将num_workers改为0即可，0是默认值。 num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 若： 将num_workers设置为0，程序报错，并提示设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 那你可以在设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 或者使用临时环境变量：（在代码开始处添加这行代码） os.environ['KMP_DUPL
pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
月亮不知道的博客
06-25 1万+
报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决 因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。 根据其他方法，我设置num_works=1或者num_works=0都不行。 最后用conda重装了pytorch，就可以了。 conda install pytorch=0.1.10 -c soumith 原因分析 过程中显示下面内容，
RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) from e
d8dongdong的博客
08-31 2708
dataloader
RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly
08-15
根据引用中提供的方法，解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的方法是进行以下操作： 1. 根据引用的提示，找到相关代码的位置，并将函数体里的代码修改为黄线的语句： ```python def get_dataloader_workers(): """Use 4 processes to read the data. Defined in :numref:`sec_fashion_mnist`""" return 0 if sys.platform.startswith('win') else 4 ``` 2. 可以尝试增加num_workers的值，根据引用的建议，适当增加num_workers可以提高DataLoader的并行性，从而减少DataLoader进程crash的可能性。但是要注意不要增加过多，以免过多占用系统资源。 这些操作可能会帮助解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的问题。希望能够帮到你。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly](https://blog.csdn.net/VegetableofDog/article/details/124726339)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly](https://blog.csdn.net/weixin_44575717/article/details/129100184)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值