RuntimeError: Default process group has not been initialized, please make sure to call init_process_

已于 2024-10-28 20:19:50 修改
阅读量676 收藏
点赞数 3
文章标签： python
于 2024-10-28 17:16:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxy_JavaSpace/article/details/143307726
版权

运行BEiT相关代码，出现没有init_process错误，但确实各个组件都init了。

一开始以为是没有torch.distributed.init_process_group()，加上代码以后仍报错。查资料发现是多进程在1GPU上运行时，model中的nn.SyncBatchNorm不能正常运行，把nn.SyncBatchNorm改成nn.BatchNorm2d就可以了。

转自：https://github.com/czczup/ViT-Adapter/issues/30

MMSeg错误：RuntimeError: Default process group has not been initialized
豆芽菜
03-21 6449
在使用mmSegmentation框架时遇到的问题： File "C:\software\Anaconda3\envs\python36\lib\site-packages\torch\distributed\distributed_c10d.py", line 347, in _get_default_group raise RuntimeError("Default process group has not been initialized, " RuntimeError: Default..
Default process group has not been initialized, please make sure to call init_process_group.
qq_39483052的博客
10-16 2020
mmaction中的r2plus1d模型报错：Default process group has not been initialized, please make sure to call init_process_group. 在mmaction2-master/configs/base/models/r2plus1d_r34.py中，将norm_cfg=dict(type=‘SyncBN’, requires_grad=True, eps=1e-3)替换成norm_cfg=dict(type=‘BN3
多种尝试解决此报错问题：Default process group has not been initialized, please make sure to call init_process.
小蛙的博客
02-22 3413
当出现以上问题多次尝试无果的情况下，请仔细检查代码，是否出现不合理的地方，例如backward()位置，eg:代码如下。：backward()是计算损失函数对模型参数的梯度,实现反向传播算法，通常在loss计算之后。的代码注释掉,如下所示。
只有单卡训练出现: Default process group has not been initialized, please make sure to call init_process.
最新发布
ZLInbao的博客
08-22 3759
在出现报错的语句前加上。
pycahrm报错RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.
07-20
PyTorch中的`RuntimeError: Default process group has not been initialized`这个错误通常发生在分布式训练（Distributed Data Parallel, DDP）过程中，当你试图使用torch.distributed包的功能（如数据并行、模型...
RuntimeError: Default process group has not been initialized, please make sure to call init_process_group
08-11
为了解决这个问题，你需要在使用分布式训练或多进程之前调用 `torch.distributed.init_process_group()` 函数来初始化默认的进程组。 你可以在代码的开头或在创建进程之前添加如下代码： ```python import torch....
如何解决RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.
04-25
这错误是由于没有初始化PyTorch...dist.init_process_group(backend="nccl") ``` 其中，“backend”参数可以根据您使用的分布式框架进行调整。另外，还可以添加其他参数来配置分布式训练，例如rank和world_size等。
detectron2报错解决方案 RuntimeError: Default process group has not been initialized, please make sure to c
Majesty__的博客
02-25 5793
windows环境使用detectron2 github503问题，解决方案
RuntimeError: Default process group has not been initialized,please make sure to call init_process_g
qq_46024883的博客
06-08 5515
一直报错RuntimeError: Default process group has not been initialized,please make sure to call init_process_group.
Default process group has not been initialized, please make sure to call ini
weixin_41529093的博客
03-22 7226
仅作为记录，大佬请跳过。 将distributed的值改为False，即可。 参考 传送门
Default process group has not been initialized, please make sure to call init_process_group
周迪新的博客
07-20 1931
在使用 PyTorch Lightning 在导入模型时出现该错误的时候 如果你在训练时使用 了ddp加速。去掉ddp加速即可。
Pycharm Debug Record
qq_45775626的博客
10-04 236
小趴菜进修记录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值