pytorch分布式报错AssertionError: Default process group is not initialized

最新推荐文章于 2023-12-25 11:10:27 发布

原创最新推荐文章于 2023-12-25 11:10:27 发布 · 9.7k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #分布式

深度学习专栏收录该内容

6 篇文章

订阅专栏

本文介绍了在使用PyTorch进行分布式训练时遇到的AssertionError: Default process group is not initialized错误，并提供了一种可行的解决方案。

pytorch分布式报错AssertionError: Default process group is not initialized

在pytorch中分布式中，dist.barrier()中报错AssertionError: Default process group is not initialized。
可以尝试：

import torch.distributed as dist
dist.init_process_group('gloo', init_method='file:///tmp/somefile', rank=0, world_size=1)

具体的原因我也不太懂，但是可以运行了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

易水潇潇666

关注关注

13
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Debug记录】AssertionError: Default process group is not initialized

Roaddd的博客

12-12

912

AssertionError: Default process group is not initialized

pytorch Default process group is not initialized

jacke121的专栏

06-27

2854

pytorch Default process group is not initialized

参与评论您还未登录，请先登录后发表或查看评论

解决pytorch报错:AssertionError: Invalid device id的问题

09-18

今天小编就为大家分享一篇解决pytorch报错:AssertionError: Invalid device id的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

pytorch-mmsegmentation train时遇到AssertionError:Default process group is not initialized

m0_37568067的博客

11-18

9240

问题原因：非分布式训练使用了分布式训练的设置两种解决办法： 1、在tools/train.py 中加入 import torch.distributed as dist dist.init_process_group('gloo', init_method='file:///temp/somefile', rank=0, world_size=1) 2、在configs/_base_/models 的文件中，首行norm_cfg = dict(type='SyncBN', requires_gr

AssertionError: Default process group is not initialized

最新发布

weixin_54626591的博客

12-25

2915

安装pytorch以及报错AssertionError: Torch not compiled with CUDA enabled解决方法

cpu运行gpu上的pytorch 报错:AssertionError:torch not compiled with cuda enabled——已解决

qq_45504119的博客

04-09

1万+

感觉今天介绍的这种方法可以解决所有这种报错出现的问题事件发生：报错：AssertionError:torch not compiled with cuda enabled 解决方法：后来看到这个代码 parser.add_argument('--test_device', default="cuda:0", type=str, help='cuda...

RuntimeError: Default process group has not been initialized, please make sure to call init_process_

weixin_44971879的博客

12-08

5150

在Windows系统上，分布式训练的支持受到一些限制，因为Windows不支持fork方式创建新进程，而这在分布式设置中是常用的方式。如果你的代码不需要分布式训练，你可以考虑在代码中禁用分布式设置，以避免这个错误。检查代码中是否存在与torch.distributed相关的初始化代码，然后在Windows上禁用它。这个错误通常与使用PyTorch的torch.distributed模块有关，它用于在分布式环境中进行训练。在你的情况下，可能是由于在分布式设置中未正确初始化进程组导致的。

LBDT从多卡到单卡遇到AssertionError: Default process group is not initialized

qq_36797410的博客

06-23

427

分布式训练就变成单卡

Default process group has not been initialized, please make sure to call init_process_group.

qq_39483052的博客

10-16

2060

mmaction中的r2plus1d模型报错：Default process group has not been initialized, please make sure to call init_process_group. 在mmaction2-master/configs/base/models/r2plus1d_r34.py中，将norm_cfg=dict(type=‘SyncBN’, requires_grad=True, eps=1e-3)替换成norm_cfg=dict(type=‘BN3

Default process group has not been initialized, please make sure to call ini

weixin_41529093的博客

03-22

7245

仅作为记录，大佬请跳过。将distributed的值改为False，即可。参考传送门

pytorch分布式训练报错：AttributeError: module ‘torch.distributed‘ has no attribute ‘init_process_group‘ 解决方法

04-21

这个问题可能是由于PyTorch版本问题导致的，建议检查PyTorch版本是否支持分布式训练，并尝试升级...如果问题仍然存在，可以尝试在代码中手动设置分布式训练参数，而不是使用torch.distributed.init_process_group函数。