【pytorch】由dataloader引发的死锁

最新推荐文章于 2022-12-10 21:05:55 发布
最新推荐文章于 2022-12-10 21:05:55 发布
阅读量3.8k 收藏 2
点赞数
分类专栏： pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shwan_ma/article/details/103474082
版权

问题阐述：

pytorch在训练过程中由于dataloader 多进程加载数据 导致的死锁， 使得程序训练暂停。该问题在pytorch的官方github上的issue上有提到， 这里不再赘述。
https://github.com/pytorch/pytorch/issues/1355

问题出现的平台

我这边出现的平台，不限于

  • pytorch 1.1
  • python 3.6
  • CUDA 9.0

问题解决办法：

一个肯定能解决的办法： 将dataloader的num_worker 设置为 0
其他的：（但对我来说，都不work， 图来自 https://github.com/pytorch/pytorch/issues/1355#issuecomment-563765333）
在这里插入图片描述

Shwan_Ma
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyTorch 解决Dataset和Dataloader遇到的问题
12-23
今天在使用PyTorch中Dataset遇到了一个问题。先看代码 class psDataset(Dataset): def __init__(self, x, y, transforms = None): super(Dataset, self).__init__() self.x = x self.y = y if transforms == None: self.transforms = Compose([Resize((224, 224)), ToTensor()]) else: self.transforms =
pytorch锁死在dataloader（训练时卡死）
qq_32526087的博客
05-26 1万+
1.问题描述 2.解决方案 （1）Dataloader里面不用cv2.imread进行读取图片，用cv2.imread还会带来一系列的不方便，比如不能结合torchvision进行数据增强，所以最好用PIL 里面的Image.open来读图片。（并不适用本例） （2）将DataLoader 里面的参变量num_workers设置为0，但会导致数据的读取很慢，拖慢整个模型的训练。（并不适用本例） （3）如果用了cv2.imread，不想改代码的，那就加两条语句，来关闭Opencv的多线程：cv2.setNu
Pytorch加速Dataloader提升数据读取速度
热门推荐
xiangxianghehe的博客
06-08 2万+
出处：https://zhuanlan.zhihu.com/p/66145913 在利用DL解决图像问题时，影响训练效率最大的有时候是GPU，有时候也可能是CPU和你的磁盘。 很多设计不当的任务，在训练神经网络的时候，大部分时间都是在从磁盘中读取数据，而不是做 Backpropagation 。这种症状的体现是使用 Nividia-smi 查看 GPU 使用率时，Memory-Usage 占用率很...
pytorch中DataLoader读不出数据但是又没有报错的情况
weixin_43785343的博客
09-16 1669
今天学习pytorch，数据预处理的时候，将dataset的数据打包之，用dataloader进行封装后，进行测试，但是却一直读不出数据的数值，在此记录一下，虽然感觉是比较小的问题，但是大家在代码调试的时候可能也会先让程序读取小部分的数据看看输出结果，希望大家可以避开这个小问题。
【PyTorch】DataLoader 由于 num_workers 引起的死锁
Esperanto.的博客
08-03 1374
num_workers 引起的死锁
pytorch训练时内存被占满导致训练终止
qq_43561292的博客
12-10 2249
OSError: [Errno 12] Cannot allocate memory RuntimeError: DataLoader worker (pid 10443) is killed by signal
Pytorch 多线程 运行卡死
u011058597的博客
09-27 2136
Pytorch多线程运行卡死，在github上面有类似问题https://github.com/pytorch/pytorch/issues/1355 2类问题问题及解决方案如下 1、由opencv引起，解决方案为禁止opencv内部线程，注意放在全局可能不生效，最好放置 __getitem__函数内部 cv2.setNumThreads(0) 2、其实我遇到的情况并非opencv造成，其多线程较少时卡死很少，线程数设置大时卡死要多一些，而且模型小的时候卡死很少，模型大的时候卡死频繁，这问题比
Pytorch dataloader加载数据卡住
qq_41726708的博客
08-02 3739
Dataloader加载数据时卡住的解决办法
Dataloader异常卡死或报错
AI智力2岁半的博客
04-21 4142
问题描述 使用pytorch训练网络加载数据当num_workers>0时，训练一轮并验证后，训练第二轮时卡在for循环那里取不到数据。num_worders=0就没有问题。但效率慢。 pytorch 1.7.1 不报任何错误 pytorch 1.11.0 会报DataLoader worker (pid 22479) is killed by signal: Segmentation fault. 如果在pytorch 1.7.1追踪代码，发现卡在python3.7/site-packages/t
pytorch 训练模型很慢，卡在数据读取，卡I/O的有效解决方案
我亦是行人
10-26 3784
pytorch 训练模型很慢，卡数据读取，卡磁盘数据集i/o的解决方案
一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系
09-16
主要介绍了一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Pytorch在dataloader类中设置shuffle的随机数种子方式
09-18
今天小编就为大家分享一篇Pytorch在dataloader类中设置shuffle的随机数种子方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
高光谱使用PyTorch的dataloader加载高光谱数据
05-29
高光谱数据的dataloader测试项目
Pytorch技巧:DataLoader的collate_fn参数使用详解
09-18
今天小编就为大家分享一篇Pytorch技巧:DataLoader的collate_fn参数使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch DataLoader 变长数据处理方式
09-18
今天小编就为大家分享一篇Pytorch DataLoader 变长数据处理方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【pytorch】学会pytorch dataloader数据加载（一）
Shwan_ma的博客
08-07 1万+
DataLoader Dataloader可以将自己的数据装换成Tensor，然后有效的迭代数据。可以很有效的简化数据的读取过程，方便炼丹。 一、 首先介绍一个简单的例子： 加载头文件： import torch import torch.utils.data as Data torch.manual_seed(1) 生成torch数据 x = torch.linspace(1, 10,...
【pytorch】冻结网络参数训练
Shwan_ma的博客
06-10 6917
假设我们想finetune一个网络，仅仅去训练conv8, prelu8, conv9,prelu9, conv10。在Pytorch中，一般是设置该variable的require_grad为False。 1.设置变量的variable中requires_grad属性 主要此处可以在定义网络的时候直接将requires_grad置于false。这里自行百度。 在特殊场景可以用下面的方法：注意al...
【pytorch】学会pytorch dataloader数据加载（三）---h5实战
Shwan_ma的博客
08-26 4521
import torch.utils.data as data import torch import h5py class DatasetFromHdf5(data.Dataset): def init(self, file_path): super(DatasetFromHdf5, self).init() hf = h5py.File(file_path) self.data = hf.ge...
pytorch构建dataloader
最新发布
10-05
在PyTorch中构建DataLoader可以通过以下步骤进行： 1. 首先，定义一个数据集(Dataset)对象，可以使用PyTorch提供的现有数据集，也可以根据自己的需要创建自定义数据集。 2. 然后，使用数据集对象创建一个数据加载器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值