#Pytorch 使用DDP训练第一轮，验证后第二轮卡住

已于 2024-01-19 16:16:53 修改
阅读量1.2k 收藏 10
点赞数 11
分类专栏： PyTorch 深度学习 Python 文章标签： pytorch 人工智能 python
于 2024-01-19 16:16:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43190189/article/details/135700877
版权
Python 同时被 3 个专栏收录
23 篇文章 4 订阅
订阅专栏
深度学习
10 篇文章 0 订阅
订阅专栏
PyTorch
5 篇文章 0 订阅
订阅专栏
文章讨论了在PyTorch的DDP分布式训练中，由于使用了dist.barrier导致验证阶段卡住的问题。解决办法是将model替换为model.module，以避免阻塞其他GPU。参考了Torch.distributed.barrier()在DDP中的问题解决方法。
摘要由CSDN通过智能技术生成

问题：在使用DDP分布式训练的时候，在第一轮训练后验证结果，在第二轮开始时就卡住了。因为设置了dist.barrier()，所以只有第一个GPU跑了验证，在第二轮时只有第一个GPU的模型在，其他卡的模型都被阻塞住了。

在这里插入图片描述

解决方法：在验证时不要使用model进行验证，要使用model.module，这样就可以顺利运行了。

参考：Torch.distributed.barrier() hangs in DDP

Troye Jcan
关注
专栏目录
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
torch.nn.parallel.DistributedDataParallel使用中卡在第一个epoch的原因之一
jiongta9473的博客
01-09 2283
torch.nn.parallel.DistributedDataParallel的模型在进行eval()的时候必须加上with torch.no_grad()，否则就会导致一个卡卡死在运行eval()后的代码，而其他卡仍然在进行训练，其他卡不再等这个进行eval()的卡。 在使用中有一个地方很容易错误，代码如下： if int(os.environ.get('RANK')) == 0: with torch.no_grad(): # print('dd0')
Pytorch 分布式并行DDP 卡死 挂起
qq_40947610的博客
11-30 8715
Pytorch 分布式并行DDP 卡死，设置NCCL_P2P_DISABLE=1禁用GPU之间直接通信即可解决。
「已解决」使用DDP多卡训练在All distributed processes registered. Starting with 8 processes卡死
CCCDeric的博客
10-23 700
【代码】「已解决」使用DDP多卡训练在All distributed processes registered. Starting with 8 processes卡死。
pytorch 训练时候不动了
northeastsqure的专栏
12-23 4600
因为用的线程太多， 打开文件太多了导致的，如下步骤 1 num_workers变小有助于解决这个问题 train_loader = DataLoader( dataset=train_set, batch_size=args.batchsize, shuffle=True, num_workers=4, pin_memory=True, ) 2.提高linux limit 参考https://le.
PyTorch 训练时中遇到的卡住停住等问题
热门推荐
yyywxk的博客
05-24 6万+
- 问题描述 使用 PyTorch 框架训练模型，训练第一个 epoch 时，在最后一个 batch 处卡死，卡了一天都没有动弹，而 CPU 和 GPU 都处于正常运行的状态，程序也没有报错，并且之前训练一直都是正常的。最终，只能通过 Ctrl+C 强制性暂停。如下图所示。 - 可能的原因 搜索文章发现，有人出现这种问题是和 cv2.imread 有关，用 OpenCV 的接口进行数据读取，而没有用 PIL，导致出现 OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程即可解决问题1 2。 但
pytorch多卡分布式训练卡住的问题
最新发布
剑启郁兰的博客
04-28 1554
最近需要模型进行多任务学习，完成代码后单卡跑是没有问题的。但是多卡跑基本上会出现卡在第一个迭代的情况。忙了一天总算是解决了。实际上，尝试了很多种方案，最后发现问题出现在这里。这部分内容具体参考如下。我的模型不执行前者，因而我是把这部分给删了，从而解决。知道原因，解答方案也比较明了，
Pytorch 并行训练（DP， DDP）的原理和应用
生命在于折腾！
09-27 2万+
Pytorch 并行训练（DP， DDP）的原理和应用 1. 前言 并行训练可以分为数据并行和模型并行。 模型并行 模型并行主要应用于模型相比显存来说更大，一块 device 无法加载的场景，通过把模型切割为几个部分，分别加载到不同的 device 上。比如早期的 AlexNet，当时限于显卡，模型就是分别加载在两块显卡上的。 数据并行 这个是日常会应用的比较多的情况。每一个 device 上会加载一份模型，然后把数据分发到每个 device 并行进行计算，加快训练速度。 如果要再细分，又可以分
Pytorch 单机多卡训练DDP
weixin_44823313的博客
04-14 4274
多卡训练方式 1.DP——torch.nn.DataParallel 2.DDP——torch.nn.parallel.DistributedDataParallel 方法比较 方法1简单，但是这种方式训练有不足之处。方法2要改动的地方比较多，但是速度更快。而且当模型很大的时候使用DataParallel我遇到了一个问题，报错说模型参数不在一个device上，这很有可能是单张卡放不下这些参数，但是具体的原因我也不清楚 ...
PyTorch训练（二）：DP（DataParallel）【“单机多卡”训练模式】【简单方便、速度慢、GPU 负载不均衡】【不推荐使用DP，推荐使用DDP】[
u013250861的博客
05-20 1028
一、概述 我们知道 PyTorch 本身对于单机多卡提供了两种实现方式 DataParallel（DP）：Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码。 DistributedDataParallel（DDP）：All-Reduce模式，本意是用来分布式训练，但是也可用于单机多卡。 DataParallel（DP）是基于Parameter server的算法，实现比较简单，只需在原单机单卡代码的基础上增加一行： model = nn.DataParallel(m
理解torch.distributed.barrier()
Qy_sfsh的博客
05-09 2934
if args.local_rank not in [-1, 0]: torch.distributed.barrier() # Make sure only the first process in distributed training will download model & vocab ... (loads the model and the vocabulary) if args.local_rank == 0: torc.
pytorch 多机多卡卡住问题汇总
爱吃火锅的博客
01-28 2万+
前言 先说一下写这篇文章的动机，事情起因是笔者在使用pytorch进行多机多卡训练的时候，遇到了卡住的问题，登录了相关的多台机器发现GPU利用率均为100%，而且单卡甚至是单机多卡都没有卡住的现象，这就非常奇怪了。 于是乎开始搜索相关的帖子，发现很多帖子虽然也是卡住话题，但是和笔者的情况都不一样，最后开始去查一些国外的帖子以及pytorch github issue等等，发现了类似问题，而且这个问题确实很严重，截至目前都没有一个很好的快速debug方法解决。 所以这里就记录一下笔者查过的相关帖子以及遇
torch.distributed多卡/多GPU/分布式DPP(二)—torch.distributed.all_reduce(reduce_mean)barrier控制进程执行顺序&seed随机种子
hxxjxw的博客
08-09 5874
torch.distributed多卡/多GPU/分布式DPP(二) —— torch.distributed.all_reduce & barrier
pytorch-lightning多卡训练中途卡死，GPU利用率100%
qq_52423671的博客
04-12 2608
使用torch1.7.1+cuda101和pytorch-lightning==1.2进行多卡训练，模式为'ddp'，中途会出现训练无法进行的问题。发现是版本问题，升级为pytorch-lightning==1.5.10问题解除。在pip安装过程中会卸载掉我的torch，指定版本也没用，解决方式是等安装pytorch-lightning结束后再把torch版本换回来。
dist.barrier()
nuliliq的博客
07-20 1489
dist.barrier()
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析
Paper weekly
11-04 3902
©作者 | 伟大是熬出来的单位 | 同济大学研究方向 | 机器阅读理解前言因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训...
pytorch 1.7.0 torchvision 0.8.1 torch.cuda.amp gradscaler DDP 训练卡死
Hello Word!
05-08 1082
报错：pytorch DDP 模型卡住 代码 # 具体卡住的代码 yolov5训练代码 train.py 中有一句： scaler.step(optimizer) # optimizer.step 程序运行到第二个epoch的时候，卡住了， 具体卡在调用语句： /home/xxx/lib/python3.7/site-packages/torch/cuda/amp/grad_scaler.py 中的 if not sum(v.item() for v
pytorch如何使用DDP
04-01
PyTorch支持使用DDP（分布式数据并行）来进行模型训练。下面是使用DDP进行模型训练的一些基本步骤： 1. 导入必要的PyTorch模块和DDP相关模块： ```python import torch import torch.nn as nn import torch.optim as optim import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP ``` 2. 初始化进程组： ```python dist.init_process_group(backend='nccl', init_method='env://') ``` 其中，backend参数指定使用的通信后端，如nccl、gloo等，init_method参数指定进程间通信方式，如env://、tcp://等。 3. 定义模型： ```python model = nn.Sequential( nn.Linear(10, 20), nn.ReLU(), nn.Linear(20, 1) ) ``` 4. 将模型包装成DDP模型： ```python model = DDP(model) ``` 5. 定义损失函数和优化器： ```python criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01) ``` 6. 定义训练数据和标签： ```python x = torch.randn(100, 10) y = torch.randn(100, 1) ``` 7. 进行模型训练： ```python for i in range(100): optimizer.zero_grad() output = model(x) loss = criterion(output, y) loss.backward() optimizer.step() ``` 注意，在使用DDP进行模型训练时，每个进程都需要有相同的模型和数据，因此需要在每个进程上加载相同的数据集和模型。同时，在使用DDP时，PyTorch会自动进行数据的分发和聚合，因此无需手动指定每个进程的数据划分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值