PyTorch RuntimeError: DataLoader worker (pid(s) 15804) exited unexpectedly

最新推荐文章于 2023-12-15 22:26:36 发布
最新推荐文章于 2023-12-15 22:26:36 发布
阅读量3k 收藏 3
点赞数 1
分类专栏： PyTorch 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenhepg/article/details/120870439
版权

@创建于：2021.10.20

1、报错

RuntimeError: DataLoader worker (pid(s) 15804) exited unexpectedly

网络上给出了方案，如：

  • cuda 虚拟环境的共享内存不足，增大内存；
  • 改成更小的batchsize。

2、我的方案

我的代码中，num_workers = 2，启用了多进程。

Python中多进程（multiprocessing这个模块包）的内容必须放在if name == 'main’之内才可以。多线程（threading这个模块包）是没有这项限定的。

所以，如果使用多进程，请务必放在if name == 'main’内。

3、参考链接

条件漫步
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RuntimeError: DataLoader worker (pid(s) 10188) exited unexpectedly
qq_42006303的博客
01-03 1342
错误原因：torch.utils.data.DataLoader中的num_workers错误 将num_workers改为0即可，0是默认值。 num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 地址是安装目录：D:\anaconda\Anaconda3\Lib\site-packages\torch\utils\data\dataloader.py 第189行： 修改后如下： ...
pytorch: RuntimeError: DataLoader worker (pid(s) 27292) exited unexpectedly
Jinpeijie217的博客
03-09 4042
厉害了。。。。用win10特有的bug？？？？？？？？搞半天，就是把pytorch下dataloader的其中一个num_workers参数注释掉。可能是win10只有一个thread的原因。 torch.utils.data.DataLoader( self.dataset, # dataset class batch_size=opt.batchSize, # h...
pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
月亮不知道的博客
06-25 1万+
报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决 因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。 根据其他方法，我设置num_works=1或者num_works=0都不行。 最后用conda重装了pytorch，就可以了。 conda install pytorch=0.1.10 -c soumith 原因分析 过程中显示下面内容，
Pytorch中Dataloader踩坑：RuntimeError: DataLoader worker (pid(s) 6700, 10620) exited unexpectedly
热门推荐
qq_38662733的博客
09-12 2万+
Pytorch中Dataloader踩坑环境：问题背景：观察报错信息进行分析根据分析进行修改尝试总结 环境： 系统：windows10 Pytorch版本：1.5.1+cu101 问题背景： 直接上代码（来源莫烦Python）： import torch import torch.utils.data as Data print(torch.__version__) BATACH_SIZE = 5 x = torch.linspace(1,10,10) # [1, 2, 3, 4, 5
解决[pytorch RuntimeError]:DataLoader worker (pid(s) 18372, 20608, 2652) exited unexpectedly
m0_50531789的博客
03-30 126
RuntimeError: DataLoader worker (pid(s) 18372, 20608, 2652) exited unexpectedly
解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly
最新发布
weixin_47414581的博客
12-15 694
后来看到一个帖子说，报错里面有一句是说“if __name__ == '__main__':”的用途，即报错里面出现这个就是希望你封装你的运行代码在这个函数里（虽然不知道具体是为什么，但大概明白要做这个封装，捂脸），后来看了一些帖子，最后实在没办法就在包和模块导入的下面，即运行代码的上面加了这句代码，不过！一定要注意加完后下方运行代码的缩进！看了网上好多说这个报错是数据堵塞或者线程开的太多xxxxx之类原因，要设置downloader的num_worker为0。，也有相同的问题的朋友也可以看看～
正确解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly，亲测有效
weixin_43917589的博客
05-27 2万+
错误原因：torch.utils.data.DataLoader中的num_workers错误 将num_workers改为0即可，0是默认值。 num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 若： 将num_workers设置为0，程序报错，并提示设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 那你可以在设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 或者使用临时环境变量：（在代码开始处添加这行代码） os.environ['KMP_DUPL
PyTorch DataLoader 报错 “DataLoader worker exited unexpectedly“ 的解决方案
枯木何日可逢春
08-21 3818
PyTorch DataLoader 报错 "DataLoader worker exited unexpectedly" 的解决方案
Pytorch的DataLoader多线程读取问题
Novelin的博客
12-08 2542
RuntimeError: DataLoader worker (pid(s) 10160) exited unexpectedly 错误解决
沐神《动手学深度学习》报错 解决方案RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly
big_sha_4017的博客
09-09 2701
（如果不是pycharm则需要进入到d2l包的文件夹中寻找torch.py这个函数）网上有很多教程说修改num_works=0但没说具体步骤，摸索了一下分享给大家。get_dataloader_workers() 进入d2l.torch。我使用的是pycharm 使用右上角的搜索功能，输入。下的return 4 改为 return 0。3.6 softmax回归的从零开始实现。报了一溜错误，其中最后一行为。最后运行程序不再报错。
成功解决：RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly
jerry zhang的sally wu
12-19 2万+
num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 将num_workers改为0即可，0是默认值。
D2L，Pytorch win10下使用dataloader时出现runtimeerror: dataloader worker (pid(s) ) exited unexpectedly的解决方案
qq_52712475的博客
03-29 7421
我是用python3.8+pytorch1.11，在李沐老师的课程展示中使用的环境是linux没有报错，但win10下在dataloader使用前需要加上。网上还有其他方法将num_worker设为0也可以单线程成功运行,不过直接导入d2l的dataloader没有对应的参数。freeze_support()函数在linux和类unix系统上可直接运行，在windows系统中需要跟在main后边。程序在运行时启用了多线程，而多线程的使用用到了freeze_support()函数。
《动手学深度学习》报错 解决方案RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly
xincanzheZ的博客
10-21 1万+
《动手学深度学习》报错 解决方案RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly，找到get_dataloader_workers()函数。
RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly
weixin_42455006的博客
11-02 2527
其实吧，这个问题说难不难，说简单也简单。出现这个Error很明显，就是，而且不是以往那种CPU利用率拉满，而GPU虽然占用率拉满，但实际利用率不高的情况。打个比方，以前是cpu加载数据要个20-30s，但gpu零点几秒就处理完成了，从而一直等待。这种情况只会让模型运行时间变长而已。现在则是两极反转，Dataloader的了。导致cpu加载数据快到飞起，反而GPU跟不上了，就会出现异常，然后杀死进程，出现如上结果。
【debug】RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
cxxx17的博客
08-31 4144
跑着跑着出现Bug:RuntimeError: DataLoader worker (pid(s) 689998) exited unexpectedly。 worker开太大了，原来用的是16，改成12之后不会报错了。
RuntimeError: DataLoader worker (pid(s) 23564) exited unexpectedly
05-10
这个错误通常是由于 DataLoader 的 worker 进程在执行期间遇到了错误而导致的。它可能是由于数据集中存在损坏的数据，或者是由于数据集中的一些数据格式与模型不兼容所导致的。 你可以尝试以下几种解决方法： 1. 检查数据集中是否存在损坏的数据，并将其删除或修复。 2. 尝试减少批处理大小或减少工作进程数，以降低 DataLoader 的负载。 3. 确保你使用的 PyTorch 版本与 CUDA 版本兼容，并且使用最新的驱动程序。 4. 确认你没有超过运行时的内存限制，可以尝试增加内存或者减少数据集的大小。 5. 确保你的代码不会在多个进程中访问同一个文件或目录，这可能会导致文件锁定和访问冲突。 如果以上方法都无法解决问题，你可以尝试使用 PyTorch 的分布式训练模块，或者使用其他数据加载器，如 PyTorch Lightning 的 DataLoader。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值