Pytorch——报错解决：多卡训练超时错误Timed out initializing process group in store based barrier on rank

最新推荐文章于 2024-06-07 11:52:36 发布
原创 最新推荐文章于 2024-06-07 11:52:36 发布 · 7.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #python

文章讲述了如何处理torch在分布式计算中遇到的超时问题，具体是通过修改torch/distributed/constants.py文件中的默认超时时间，将30分钟延长至120分钟，以避免运行中断。

报错截图

在这里插入图片描述

解决方法

找到.conda/envs/bevdet/lib/python3.6/site-packages/torch/distributed/constants.py，修改默认时间从30mins到120mins：

在这里插入图片描述

关于yolo的DDP多机多卡训练出现问题：进程组初始化时出现了“store based barrier“等待...如何解决？
**My Coding Family**
08-03 761
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
torchrun在验证集使用一个GPU时报NCCL超时：Watchdog caught collective operation timeout的解决方案
人工智能
03-26 1万+
有时候在分布式训练时，可能会出现nccl通信超时的问题，出现的原因好像是在某些数据处理、加载等过程，多个进程一起完成，但是某些计算（比如loss具体不知道都有啥）需要rank0自己来做，但是由于默认的30分钟没算完，没完成不同rank之间的正常通信，导致报错。增加超时时间：你可以尝试增加NCCL操作的超时时间。在PyTorch中，你可以通过设置。
pytorch训练时gpu利用率低_pytorch多gpu并行训练
weixin_32601937的博客
02-02 2666
目录目录pytorch多gpu并行训练1.单机多卡并行训练1.1.torch.nn.DataParallel1.2.如何平衡DataParallel带来的显存使用不平衡的问题1.3.torch.nn.parallel.DistributedDataParallel2.多机多gpu训练2.1.初始化2.1.1.初始化backend2.1.2.初始化init_method2.1.2.1.使用TCP初始...
[bug记录] Waiting in store based barrier to initialize process group for rank: 卡住问题
最新发布
qq_53627591的博客
06-07 961
解决办法就是把原来的output_dir删掉，或者重新开一个。
dist.init_process_group() 卡住超时导致报错
weixin_50232758的博客
11-16 4029
程序卡在这一步一动不动。调大一些，笑出🐖叫。在命令行运行程序添加。
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
热门推荐
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
解决 pytorch 报错 RuntimeError: An attempt has been made to start a new process...
qq_39220334的博客
12-28 1744
报错信息 运行 pytorch 代码报错，BrokenPipeError: [Errno 32] Broken pipe，看起来和多线程有关。 RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you ar
pytorch安装，解决pytorch下载报错（ERROR: Exception: Traceback (most recent call last): File ...）、下载缓慢问题
m0_70466650的博客
06-02 4435
在下载pytorch时，由于安装包可能较大，一般可能是2G左右，通常需要花费较长的时间才能下载完成，但在很多时候，下载到一般会出现ERROR: Exception: Traceback (most recent call last): File …的错误，下面将对此提供一些解决方案。
cpu运行gpu上的pytorch 报错:AssertionError:torch not compiled with cuda enabled——已解决
qq_45504119的博客
04-09 1万+
感觉今天介绍的这种方法可以解决所有这种报错出现的问题 事件发生： 报错：AssertionError:torch not compiled with cuda enabled 解决方法： 后来看到这个代码 parser.add_argument('--test_device', default="cuda:0", type=str, help='cuda...
使用hugging face开源库accelerate进行多GPU（单机多卡）训练卡死问题
EstrangedZ的博客
10-14 8653
单机多卡训练出现[E ProcessGroupNCCL.cpp:828] [Rank 1] Watchdog caught collective operation timeout: WorkNCCL(OpType=BROADCAST, Timeout(ms)=1800000) ran for 1808499 milliseconds before timing out.的解决方案
PyTorch之分布式操作中的Barrier
画心
01-16 6175
PyTorch的多卡程序中你可能讲过Barrier，这篇文章会展现更多的细节。
多机多卡分布式训练
china_xin1的博客
11-01 4061
注意：所有机器均需要安装一模一样的环境：版本需要一致；conda安装路径一致；同时cuda和pytorch版本相对应，如下图所示。如下所示，启动2台服务器，服务器每台一张显卡。方式一：使用pdsh，仅需要在主节点启动。
python创建进程池
weixin_44840774的博客
12-19 450
python创建进程池 # -*- coding:UTF-8 -*- from multiprocessing import Pool import os,time,random def worker(msg): t_start = time.time() print('%s开始执行，进程号为%d' % (msg,os.getpid())) # random.random() 随机生成0-1之间的浮点数 time.sleep(random.random()*2) t
RuntimeError: Default process group has not been initialized, please make sure to call init_process_
weixin_44971879的博客
12-08 5100
在Windows系统上，分布式训练的支持受到一些限制，因为Windows不支持fork方式创建新进程，而这在分布式设置中是常用的方式。如果你的代码不需要分布式训练，你可以考虑在代码中禁用分布式设置，以避免这个错误。检查代码中是否存在与torch.distributed相关的初始化代码，然后在Windows上禁用它。这个错误通常与使用PyTorch的torch.distributed模块有关，它用于在分布式环境中进行训练。在你的情况下，可能是由于在分布式设置中未正确初始化进程组导致的。
torch.nn.parallel.DistributedDataParallel使用
m0_46294481的博客
05-11 4560
1. torch.nn.parallel.DistributedDataParallel简单介绍Implements distributed data parallelism that is based on package at the module level.这个container通过在每个模型副本上同步梯度来提供数据并行性。要同步的设备是由输入process_group指定的，默认情况下它是整个world。请注意，DistributedDataParallel不会在参与的GPU之间对输入进行分块或
关于Runtime Error的问题
wuxinliulei的专栏
06-18 2339
在提交程序的过程中如果出现这样的情况的额话， 有可能是以下的情况 1.数据初始化出现问题，这个问题是经常的出现的 一旦出现多组数据，在又一组数据读入的时候必须重新初始化 2数组开的不够大 3 出现死循环 4 比较排序出错
深入理解Pytorch中的分布式训练
zenRRan的博客
01-05 2152
作者：台运鹏 (正在寻找internship...)主页：https://yunpengtai.top鉴于网上此类教程有不少模糊不清，对原理不得其法，代码也难跑通，故而花了几天细究了一下相关原理和实现，欢迎批评指正！关于此部分的代码，可以去https://github.com/sherlcok314159/dl-tools查看「在开始前，我需要特别致谢一下一位挚友，他送了我双显卡的机器来赞助我做个...
解决RuntimeError
qq_45147539的博客
03-27 1410
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [128, 1]], which is output 0 of TBackward, is at version 2; expected version 1 instead. Hint: enable anomaly detection to
PyTorch图像分类实战：从训练到部署全流程解析
1. **训练**：在PyTorch框架下，使用深度学习模型进行图像分类任务的训练过程。 2. **预测**：训练完毕后的模型被用来对新的输入数据进行分类预测。 3. **TTA（Test Time Augmentation）**：在测试时对图像应用一...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值