[bug记录] Waiting in store based barrier to initialize process group for rank: 卡住问题

于 2024-06-07 11:52:36 发布
阅读量507 收藏
点赞数 2
文章标签： bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53627591/article/details/139523013
版权

在使用torch.distributed的时候，会报torch.distributed.distributed_c10d - Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=1, worker_count=2, timeout=0:30:00)然后一直卡住，把任务取消了再提交一遍也是一样，甚至worker_count还会增加

解决办法就是把原来的output_dir删掉，或者重新开一个

谛听misa
关注
[论文笔记] Pai-megatron: barrier报错: Duplicate GPU detected : rank 0 and rank 4 both on CUDA device 10
心宝的博客
04-12 906
改成实际开发机有的卡数。
pytorch Default process group is not initialized
jacke121的专栏
06-27 2537
pytorch Default process group is not initialized
Pytorch——报错解决：多卡训练超时错误Timed out initializing process group in store based barrier on rank
Irving.Gao的博客
04-08 6456
【代码】Pytorch——报错解决：多卡训练超时错误Timed out initializing process group in store based barrier on rank。
多机多卡分布式训练
最新发布
china_xin1的博客
11-01 3067
注意：所有机器均需要安装一模一样的环境：版本需要一致；conda安装路径一致；同时cuda和pytorch版本相对应，如下图所示。如下所示，启动2台服务器，服务器每台一张显卡。方式一：使用pdsh，仅需要在主节点启动。
torch.nn.parallel.DistributedDataParallel使用
m0_46294481的博客
05-11 3761
1. torch.nn.parallel.DistributedDataParallel简单介绍Implements distributed data parallelism that is based on package at the module level.这个container通过在每个模型副本上同步梯度来提供数据并行性。要同步的设备是由输入process_group指定的，默认情况下它是整个world。请注意，DistributedDataParallel不会在参与的GPU之间对输入进行分块或
python创建进程池
weixin_44840774的博客
12-19 405
python创建进程池 # -*- coding:UTF-8 -*- from multiprocessing import Pool import os,time,random def worker(msg): t_start = time.time() print('%s开始执行，进程号为%d' % (msg,os.getpid())) # random.random() 随机生成0-1之间的浮点数 time.sleep(random.random()*2) t
PyTorch之分布式操作中的Barrier
画心
01-16 4844
PyTorch的多卡程序中你可能讲过Barrier，这篇文章会展现更多的细节。
pytorch训练时gpu利用率低_pytorch多gpu并行训练
weixin_32601937的博客
02-02 2439
目录目录pytorch多gpu并行训练1.单机多卡并行训练1.1.torch.nn.DataParallel1.2.如何平衡DataParallel带来的显存使用不平衡的问题1.3.torch.nn.parallel.DistributedDataParallel2.多机多gpu训练2.1.初始化2.1.1.初始化backend2.1.2.初始化init_method2.1.2.1.使用TCP初始...
解决在window系统下创建多进程的出现RuntimeError的问题
weixin_44840774的博客
12-19 1047
解决在window系统下创建多进程的出现RuntimeError的问题。 今天在做python创建进程池的时候出现了以下的错误， RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not u
Compacted Sewage Sludge as a Barrier for Tailings: the Bacterial Community Structure Diversity in the Compacted Sludge
12-26
压实污泥作为尾矿屏障的可行性研究：压实污泥样本中微生物群落结构多样性，张庆，张虎元，压实污泥作为尾矿的还原性屏障具有双重功能，既可以对尾矿氧化产生的酸性矿山废水（AMD）包封，又可以固定其中重金属。...
torch.distributed
weixin_36670529的博客
05-19 2万+
Backends torch.distributed supports three backends, each with different capabilities. The table below shows which functions are available for use with CPU / CUDA tensors. MPI supports CUDA only if th...
深入理解Pytorch中的分布式训练
zenRRan的博客
01-05 1784
作者：台运鹏 (正在寻找internship...)主页：https://yunpengtai.top鉴于网上此类教程有不少模糊不清，对原理不得其法，代码也难跑通，故而花了几天细究了一下相关原理和实现，欢迎批评指正！关于此部分的代码，可以去https://github.com/sherlcok314159/dl-tools查看「在开始前，我需要特别致谢一下一位挚友，他送了我双显卡的机器来赞助我做个...
torch.distributed.barrier()
weixin_43118280的博客
04-09 6556
torch.distributed.barrier作用 Pytorch在分布式训练过程中，对于数据的读取是采用主进程预读取并缓存，然后其它进程从缓存中读取，不同进程之间的同步通信需要通过torch.distributed.barrier()实现 t = torch.tensor([self.count, self.total], dtype=torch.float64, device='cuda') dist.barrier() dist.all_reduce(t) 主要就是通过对其他进程进行阻塞来等所有
理解torch.distributed.barrier()
Qy_sfsh的博客
05-09 2936
if args.local_rank not in [-1, 0]: torch.distributed.barrier() # Make sure only the first process in distributed training will download model & vocab ... (loads the model and the vocabulary) if args.local_rank == 0: torc.
pytorch 分布式训练 distributed parallel 笔记
热门推荐
JPZ的各种笔记
01-20 6万+
此文章仅供学习使用，请勿用作商业用途。 在GPU上进行训练 查看自己的GPU并赋值device device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net.to(device) inputs, labels = inputs.to(device), labels.to(device) 多GPU并行编程 普...
如何在写微信小程序开发的时候给其文本内容部分添加空格或者换行呢？
Alanrnzearn的博客
06-10 6708
       在写微信小程序开发过程中，有时候为了画面美观，里面的文本内容需要给它开头空格，段落换行，但是常用的HTML的语法书写跟微信小程序又不一样，这个时候就需要运用微信小程序特写的如下技能。 书写前提条件注意： 必须在<text>标签中！ 1.单个空格、换行、 \t     单个空格字符，无论写多少个都只会显示一个空格。 \n    换行字符 代码
分布式深度学习最佳入门（踩坑）指南
qq_29462849的博客
01-11 2083
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨Lyon@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/294698838编辑丨极市平台导读...
init_process_group函数 解释
qq_42012900的博客
08-09 4191
pytorch中分布式训练中的init_process_group函数 解释
Pytorch翻车记录：单卡改多卡踩坑记！
夕小瑶科技说
01-14 8454
文| 哟林小平@知乎先说明一下背景，目前正在魔改以下这篇论文的代码：https://github.com/QipengGuo/GraphWriter-DGLgithub.com由于每次...
E:\bird\bird\bird\barrier.cpp:41: error: undefined reference to `barrier::score'
07-16
根据错误消息 `undefined reference to 'barrier::score'`，编译器在 `barrier.cpp` 文件的第41行找不到 `barrier::score` 的定义。 确保你在 `barrier.cpp` 文件中正确定义了 `barrier` 类的静态成员变量 `score`。你可以在 `barrier.cpp` 文件中添加以下代码来定义该静态成员变量： ```cpp int barrier::score = 0; ``` 请注意，这个定义必须在类外部进行，而不能在类的内部或头文件中进行。 如果你已经在 `barrier.cpp` 文件中添加了这个定义，但问题仍然存在，请确保编译器正确地编译和链接了 `barrier.cpp` 文件。检查编译选项和链接命令，确保将 `barrier.cpp` 文件包含在编译过程中。 如果问题仍然存在，请提供更多的代码和编译选项，以便我们可以提供更具体的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值