Pytorch 报错:RuntimeError: DataLoader worker (pid(s) ****, ****, ****, ****) exited unexpectedly

最新推荐文章于 2024-05-27 12:03:26 发布
最新推荐文章于 2024-05-27 12:03:26 发布
阅读量1.5w 收藏 7
点赞数 6
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011573853/article/details/105951305
版权

今天用Pytorch训练一个小代码，加载数据的地方

self.train_loader = torch.utils.data.DataLoader(self.train_gaze, batch_size, shuffle=True, num_workers=workers)

一开始设置workers为4，报出如下错误

RuntimeError: DataLoader worker (pid(s) ****, ****, ****, ****) exited unexpectedly

后来把workers改成2还是出错，直到最后把workers改成0才不出错。电脑不行啊！
当报错时应该考虑一下是不是设置的太大或者不支持多线程进行操作。

晓理紫
关注
  • 6
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly’.format(pids_str))
独自登高楼 望断天涯路
04-29 270
原文链接：https://blog.csdn.net/weixin_42455006/article/details/127656107)
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
pytorch报错RuntimeError: DataLoader worker (pid 18906) is killed by signal: Segmentation fault.
heroacool的专栏
06-17 2758
系统环境： ubuntu16.04 cuda11 torch包的版本 torch 1.8.1 torchaudio 0.8.1 torchvision 0.9.1 运行官方的tv-training-code.py时出现错误 RuntimeError: DataLoader worker (pid 18906) is killed by signal: Segmentation fault. 找了半天应该是dat
YOLOv8: RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) from e
最新发布
joe8910的博客
05-27 288
1、分配python安装目录内存空间，我python环境默认安装在C盘，在分配之前，我C盘的内存只有70G左右，使用“分区助手”把其它硬盘的多余空间分配给C盘，如下图所示，打开 分区助手，选择内存空间比较多的盘，这里我选择“F盘”，点击左侧”分配空闲空间“，点击下拉框，选择要分配的盘，这里我选择”C盘“（python安装的目录）分配之后，我的C盘空间由原来只剩下70G，变成了185G。2、空间分配完成后，重启电脑，再尝试YOLOv8训练，看是否还会报错，我的还是会报错误二，页面文件太小错误。
编译 pytorch 出现 Segmentation fault
wh9的博客
11-18 809
编译 pytorch 出现 Segmentation fault (core dumped) 或者 internal compiler error: Segmentation fault pytorch 默认使用电脑的所有线程进行编译，通过设置环境变量 MAX_JOBS 来适当减少用于编译的线程数量。如： export MAX_JOBS=4 # 设置最多使用4个线程进行编译 ...
pytorch 的 多线程dataloader ，bug： DataLoader worker (pid(s) {}) exited unexpectedly
eason_9的博客
01-02 4256
看了网上很多的教程 ，都是 将线程数改为0， 一直不理解为什么同样的环境， 我另外一个代码 可以跑多线程， 后来发现是main 函数的问题 ， 不要把训练部分的代码 全部放在 main函数if __name__ == "__main__": 里面！！！！！！！， 另外写一个函数 比如 def train() : 将 训练代码放在这里面， 再用main函数调用： 如下图： 、 我将所有的训练代码放在 train()里面 ，这样就可以使用多线程了， 我也不知道什么原因 。 ...
pytorch dataloader is killed by signal or unexpected segmentation fault
u010454261的博客
06-16 206
tui jia https://www.zywvvd.com/2020/12/03/deep_learning/pytorch/dataloader_segmentation_fault/dataloader_segmentation_fault/
《动手学深度学习》之深度卷积神经网络（AlexNet）
乾巽的博客
02-06 362
参考深度卷积神经网络（AlexNet） import time import torch from torch import nn, optim import torchvision import sys sys.path.append("..") import d2lzh_pytorch as d2l device = torch.device('cuda' if torch.cuda....
pytorch::Dataloader中的迭代器和生成器应用详解
09-18
主要介绍了pytorch::Dataloader中的迭代器和生成器应用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
nncf：基于PyTorch *的神经网络压缩框架，用于增强OpenVINO:trade_mark:推理
02-03
神经网络压缩框架（NNCF） 该存储库包含基于PyTorch *的框架和用于神经网络压缩的样本。 该框架以Python *包的形式组织，可以在独立模式下构建和使用。 框架架构是统一的，可以轻松添加不同的压缩方法。 这些样本...
********gpt训练好模型分享********
04-15
********gpt训练好模型分享********
QANet-pytorch-：QANet的Pytorch实现
02-03
一个Pytorch实施 该代码主要基于两个存储库： 性能 训练纪元/步骤 批量大小 隐藏尺寸 注意头 电磁 F1 12.8 / 35,000 32 96 1个 69.0 78.6 22 / 60,000 32 96 1个 69.7 79.2 12.8 / 93,200 12 128 8 ...
报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly
u010442263的博客
08-20 420
报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly
debug时出现错误： RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
shaojie_45的博客
10-07 564
修改：将workers_per_gpu从2修改为0，就可以正常debug了。samples_per_gpu指定一张卡里面同时训练几张图片，workers_per_gpu指定进程数，可以改成单进程的来debug。我的解决方法，找到使用的dataset对应的配置文件。比如我使用的时Pascal VOC数据集，那么在目录：configs//datasets/voc0712.py可以找到相应的配置。如果时COCO数据集则要去找其它的配置文件。问题描述：使用mmdetection，用vscode编写代码。
pytorch Segmentation Fault ( Core Dumped )
m0_62769256的博客
03-07 265
除了软件问题，可能是内存条坏掉了，主板可以访问，但是是内存条的内存块坏掉了，一个一个排查。
沐神代码 DataLoader worker (pid(s) 35344, 30316, 35380, 26992) exited unexpectedly错误
m0_53848556的博客
10-18 330
沐神的课中出现这样的错误提示，很多都说把num_workers设置为0，但是却没有具体的关于如何设置的教程，在自己尝试了几种解决方式之后发现下面这种方法是最简单的，希望能帮助到有同样问题的朋友！其实这个问题很好解决，在沐神第三章中，图像分类数据集这一节中。找到如下的代码：将下面代码中的return 4 改为return 0 重新运行代码即可成功。
Segmentation fault (core dumped)
a250225的博客
05-10 1073
使用pytorch进行深度学习模型训练时，莫名出现了这个错误。之前用的好好的。 出现这个错误的原因有很多，网上与很多人说是linux中对栈的大小做了限制，具体的大家可以对照这篇blog进行设置。 但我遇到不是这种情况，我是在导入matplotlib是出现了这个错误，于是参考了这篇blog。 import matplotlib as mpl mpl.use('TkAgg') # or whatever other backend that you want import matplotlib.pyplot
成功解决:RuntimeError: DataLoader worker (pid(s) 10188) exited unexpectedly
haosen
04-01 556
错误原因：torch.utils.data.DataLoader中的num_workers错误。num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。将num_workers改为0即可，0是默认值。地址是安装目录：dataloader.py。
RuntimeError: DataLoader worker (pid(s) 23564) exited unexpectedly
05-10
这个错误通常是由于 DataLoader 的 worker 进程在执行期间遇到了错误而导致的。它可能是由于数据集中存在损坏的数据，或者是由于数据集中的一些数据格式与模型不兼容所导致的。 你可以尝试以下几种解决方法： 1. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值