torch 多进程卡死

已于 2022-02-01 09:46:18 修改
阅读量9k 收藏 3
点赞数
分类专栏： pytorch知识宝典 文章标签： 深度学习 pytorch 神经网络
于 2018-07-04 16:32:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/80914798
版权

torch训练卡死，后来发现是

DataLoader卡死，原因是enumerate参数不对，

dataloader = DataLoader(COCODataset(config["train_path"],
                                                 (config["img_w"], config["img_h"]),
                                                 is_training=True, data_size=100000),
batch_size=config["batch_size"], shuffle=True,drop_las
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
订阅专栏
pytorch多进程加速及代码优化方法
01-01
目标：优化代码，利用多进程，进行近实时预处理、网络预测及后处理： 本人尝试了pytorch的multiprocessing，进行多进程同步处理以上任务。 from torch.multiprocessing import Pool,Manager 为了进行各进程间的通信...
torch1.7.zip
01-26
标题中的"torch1.7.zip"表明这是一个包含PyTorch版本1.7的压缩包，特别为树莓派4B优化。PyTorch是一个流行的开源机器学习库，它提供了动态计算图功能，使得构建和训练神经网络变得简单易行。在Python环境中，它常被...
讲解torch 多进程卡死
牛肉胡辣汤
12-10 661
在使用torch进行多进程训练时，卡死问题可能会让我们很头疼。通过检查数据加载过程，正确处理数据共享，合理分配系统资源以及添加详细的日志和调试信息，我们可以及时发现问题并解决。希望本文提供的解决方案能够帮助你解决torch多进程卡死问题，并顺利完成训练任务。当使用PyTorch进行多进程训练时，在实际应用场景中，我们可以使用torch的DataLoader来加载训练数据，并使用将模型在多个GPU上进行并行加速。# 定义图像分类模型return x# 数据预处理])# 加载训练数据集。
3090显卡服务器使用torch中的.cuda()语句会卡死问题解决方法
qq_45215296的博客
10-18 2159
3090显卡服务器使用torch中的.cuda()语句会卡死问题解决方法
pytorch 2.0 多线程并行，导致GPU利用100%，卡住
weixin_40755306的博客
05-14 377
拷贝的内容包括torch、torch-1.9.1+cu111.dist-info、 torchvision、torchvision-0.10.1+cu111.dist-info。最近发现，多线程ThreadPoolExecutor(max_workers=2)调用的时候，即单个进程内处理一张图像，依次是yolov5--->crnn模型，会导致GPU利用100%，卡住。具体换的方式是：直接把别的环境里装好的torch对应的库，拷贝现在的环境。之前无论是pth格式，还是TRT格式，并行的都没有问题。
Pytorch生成的DataLoader被iter或者enumerate调用后卡死的原因
cjfkneoigoring的博客
07-12 3711
Pytorch生成的DataLoader被iter或者enumerate调用后卡死的原因 pytorch 加载数据时报错： `RuntimeError: RuntimeError An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to s
PyTorch 训练时中遇到的卡住停住等问题
热门推荐
yyywxk的博客
05-24 6万+
- 问题描述 使用 PyTorch 框架训练模型，训练第一个 epoch 时，在最后一个 batch 处卡死，卡了一天都没有动弹，而 CPU 和 GPU 都处于正常运行的状态，程序也没有报错，并且之前训练一直都是正常的。最终，只能通过 Ctrl+C 强制性暂停。如下图所示。 - 可能的原因 搜索文章发现，有人出现这种问题是和 cv2.imread 有关，用 OpenCV 的接口进行数据读取，而没有用 PIL，导致出现 OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程即可解决问题1 2。 但
torch.utils.data.DataLoader与enumerate联用发现
qq_39940390的博客
01-10 678
使用torch.utils.data.DataLoader()函数对数据集进行按批分割处理，然后在训练网络时用enumerate()函数取出训练数据。发现不同Epoch，相同step(下文解释)情况下，enumerate取到的训练数据不一样。这样意味着DataLoader()联用enumerate()使用时候，每次取到的训练数据是动态的。
torch-1.0.0
06-01
除此之外，Torch 1.0.0还支持分布式训练，利用多GPU或多机器进行大规模模型的并行训练。通过torch.distributed模块，开发者可以设置通信策略，如AllReduce，实现模型参数的同步。 最后，Torch 1.0.0对文档和社区...
YOLOV5TORCH03
最新发布
06-09
3. **多尺度训练**：YOLOv5支持多尺度训练，可以在不同大小的输入图像上进行训练，提高对不同尺寸目标的检测性能。 4. **Loss函数优化**：采用了更有效的损失函数，如GIoU损失、DIoU损失和CIoU损失，这些损失函数能...
torch_geometric 加torch 包
12-31
标题 "torch_geometric 加torch 包" 涉及到的是使用Python中的两个重要库：torch和torch_geometric。这两个库在机器学习，尤其是图神经网络（Graph Neural Networks, GNNs）领域有着广泛的应用。 **torch** 是一个...
pytorch中的单机多卡和多机多卡
liguandong
09-22 3837
pytorch 单机多卡的正确打开方式pytorch 使用单机多卡，大体上有两种方式简单方便的 torch.nn.DataParallel(很 low，但是真的很简单很友好)使用 torch.distributed 加速并行训练(推荐，但是不友好)首先讲一下这两种方式分别的优缺点nn.DataParallel优点：就是简单缺点就是：所有的数据要先load到主GPU上，然后再分发给每个GPU去train，注意这时候主GPU的显存占用很大，你想提升batch_size,那你的主GPU就会限制。
训练网络时一直卡在for k,batch in enumerate(train_loader)
weixin_42039823的博客
03-19 3636
这个是重启突然出现的问题，没有根本的解决问题的方式，但是暂时性的将num_worker=0之后加快了很多，猜想是因为电脑固态坏了，在机械里重装系统，机械的读取太慢了。
BUG：训练Unet时，卡在data_loader不动，解决办法
weixin_43507744的博客
07-19 1778
一直不动，有的人说修改num_works=0,但是根本解决不了问题，经过不懈努力，我发现问题的根源在数据集，我们一般使用的图片为png格式或者pig格式，但是Unet网络的原始数据是做医学图像分割的，他的训练数据格式是tif，所以我们在定义dataset的时候，会与普通的图片格式有所不同：...
问题解决：pycharm debug断点调试时遇到Pycharm DataLoader会卡死（num_works参数 多进程的坑点）
捡起一束光的博客
01-26 3039
问题描述 下面的代码，我在pycharm点run是可以正常运行的，但是加了断点调试后就出现了在DataLoader处卡住的问题 import torch import numpy as np # 定义GetLoader类，继承Dataset方法，并重写__getitem__()和__len__()方法 class GetLoader(torch.utils.data.Dataset): # 初始化函数，得到数据 def __init__(self, data_root, data_label)
pytorch 多机多卡卡住问题汇总
爱吃火锅的博客
01-28 1万+
前言 先说一下写这篇文章的动机，事情起因是笔者在使用pytorch进行多机多卡训练的时候，遇到了卡住的问题，登录了相关的多台机器发现GPU利用率均为100%，而且单卡甚至是单机多卡都没有卡住的现象，这就非常奇怪了。 于是乎开始搜索相关的帖子，发现很多帖子虽然也是卡住话题，但是和笔者的情况都不一样，最后开始去查一些国外的帖子以及pytorch github issue等等，发现了类似问题，而且这个问题确实很严重，截至目前都没有一个很好的快速debug方法解决。 所以这里就记录一下笔者查过的相关帖子以及遇
pytorch分布式卡住
iTom's blog
05-23 1045
pytorch 分布式训练卡住
torch.distributed.init_process_group卡死
weixin_43762134的博客
08-10 6888
torch.distributed.init_process_group()卡死
torch多进程推理服务
09-10
torch的多进程推理服务可以通过使用`torch.multiprocessing`模块来实现。该模块提供了一种简便的方式来创建和控制多个并行的进程。 首先，我们需要定义一个函数，该函数将在每个进程中运行。这个函数负责实例化模型和加载权重，然后对输入数据进行推理。推理结果可以通过共享内存或其他方式进行收集和返回。 接下来，我们可以使用`torch.multiprocessing.Process`类来创建进程对象。我们可以为每个进程指定要执行的函数以及传递给该函数的参数。然后，我们可以调用进程对象的`start`方法来启动进程。 为了实现多进程之间的通信，我们可以使用`torch.multiprocessing.Queue`类来创建队列对象。队列可以用于在进程之间传递数据和结果。一个进程可以将数据放入队列，而另一个进程可以从队列中获取数据。这种方式可以方便地实现并行推理任务的输入输出。 最后，我们需要使用`torch.multiprocessing.Queue`类实现进程间的同步。我们可以使用`put`方法将数据放入队列，并使用`get`方法从队列中获取，从而确保进程在执行推理之前具有所需的输入数据。 总的来说，使用`torch.multiprocessing`模块可以实现多进程的推理服务。通过定义一个函数来处理推理任务，并使用`Process`类创建多个进程来并行执行任务。使用队列实现进程间的通信和同步，可以方便地传递输入数据和获取输出结果。这样可以提高推理服务的效率和性能。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值