pytorch-mmsegmentation train时遇到AssertionError:Default process group is not initialized

最新推荐文章于 2024-08-13 16:08:21 发布
最新推荐文章于 2024-08-13 16:08:21 发布
阅读量8.8k 收藏 29
点赞数 23
分类专栏： Deep learning 文章标签： 深度学习 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37568067/article/details/109785209
版权

问题原因：非分布式训练使用了分布式训练的设置

两种解决办法：

1、在tools/train.py 中加入

import torch.distributed as dist

dist.init_process_group('gloo', init_method='file:///temp/somefile', rank=0, world_size=1)

2、在configs/_base_/models 的文件中，首行norm_cfg = dict(type='SyncBN', requires_grad=True), 'SyncBN'是采用distributed的训练方法，在单GPU non-distributed训练中使用会出现上述错误，

改为type='BN' 即可.

PhDing_H
关注
  • 23
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
专栏目录
pytorch Default process group is not initialized
jacke121的专栏
06-27 2370
pytorch Default process group is not initialized
pytorch-cnn-visualizations:卷积神经网络可视化技术的Pytorch实现
04-05
该存储库包含许多在PyTorch中实现的卷积神经网络可视化技术。 注意：我删除了cv2依赖性并将存储库移至PIL。 有些事情可能会坏掉（尽管我测试了所有方法），如果在某些情况下无法解决问题，可以提出问题，我将不胜...
pytorch分布式报错AssertionError: Default process group is not initialized
qq_40373651的博客
07-17 8650
pytorch分布式报错AssertionError: Default process group is not initialized 在pytorch中分布式中，dist.barrier()中报错AssertionError: Default process group is not initialized。 可以尝试： import torch.distributed as dist dist.init_process_group('gloo', init_method='file:///tmp/so
AssertionError: Default process group is not initialized
邹小驴
11-08 1227
在tool/train.py开头加入如下语句即可。
【Debug记录】AssertionError: Default process group is not initialized
Roaddd的博客
12-12 476
AssertionError: Default process group is not initialized
pytorch-large-model-support:PyTorch中的大型模型支持
04-14
PyTorch LMS用户最近打开了一个问题，要求社区支持以将LMS集成到PyTorch的正式版本中： 这是一个很好的机会，可以收集所有用户的推荐书和成功案例，以证明LMS在公共场所的价值。 请随时在对话中分享您的支持和任何...
pytorch-sentiment-analysis-classification:情感分析分类的PyTorch教程（RNN，LSTM，Bi-LSTM，LSTM + Attention，CNN）
05-24
情感分析分类 先决条件 安装依赖项 pip install -r requirements.txt 安装Spacy英语数据 python -m spacy download en 框架 火炬 数据集 Cornell MR（电影评论）数据集 实施 RNN ...有线电视新闻网
pytorch-multi-label-classifier:pytorch实现的用于多标签分类的分类器
05-17
pytorch-multi-label-classifier引言实现的用于多标签分类的分类器。 您可以轻松地train ， test多标签分类模型并visualize训练过程。 以下是可视化单标签分类器训练的示例。 如果您有多个属性，则毫无疑问，每个...
pytorch-deep-photo-enhancer:pytorch深度照片增强器的实现
05-24
深度照片增强器的Pytorch实现该项目基于论文《深度照片增强器：使用GAN进行照片增强的不成对学习》。 作者的项目地址为： 我的代码基于中文文档说明请看要求Python 3.6 CUDA 10.0 要安装的要求： pip install -r ...
pytorch-mmsegmentation train时遇到 ‘torch.distributed‘ has no attribute ‘group‘
jxb727098的博客
01-29 1831
直接搜出来说是因为torch版本不匹配，但是指定版本时怎么改呢，主要是由于模型代码中使用到了SyncBN而该方法是分布式训练时才可以调用的，在单卡GPU训练时改成BN即可 。（具体修改位置要看自己的报错，在模型哪个位置使用到了SyncVBN)![请添加图片描述](https://img-blog.csdnimg.cn/b0671c39df0946cf81eff944f8dbc9aa.png这位博主遇到的问题和我也很相似**【AssertionError:Default process group is no
Default process group has not been initialized, please make sure to call init_process_group可能解决方法
york1996的博客
11-05 3772
syncBN改成BN
【recbole】ValueError: Default process group has not been initialized, please make sure to call init_p
chriix的博客
03-28 451
直接重新跑一下就能行。
调试HRnet遇到的坑
qq_38951972的博客
03-10 1703
AssertionError: Default process group is not initialized # BatchNorm2d_class = BatchNorm2d = torch.nn.SyncBatchNorm BatchNorm2d_class = BatchNorm2d = torch.nn.BatchNorm2d 将bn_help.py里的第19行做更改。（放弃分布式训练） 出现新的bug RuntimeError: CUDA out of memory. Tried..
Attention注意力机制
最新发布
russwest44的博客
08-13 223
【代码】Attention注意力机制。
pycahrm报错RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.
07-20
PyTorch中的`RuntimeError: Default process group has not been initialized`这个错误通常发生在分布式训练（Distributed Data Parallel, DDP）过程中，当你试图使用torch.distributed包的功能（如数据并行、模型并行等）时。它提示你在运行分布式计算之前，应该先初始化进程组（process group）。`init_process_group`函数用于设置计算环境中各个工作进程间的通信机制。 具体步骤可能是这样的： 1. 确保在你的脚本开始处导入了`torch.distributed`模块，并在适当的地方调用`init_process_group()`函数，传入适当的参数，比如`backend`（例如`gloo`, `nccl`），`world_size`（进程总数），以及`rank`（当前进程在所有进程中的位置）。 ```python import torch.distributed as dist if __name__ == "__main__": if not is_main_process(): # 主进程以外的其他进程不需要做太多操作 return dist.init_process_group(backend='nccl', world_size=4, rank=0) # 接下来可以继续进行分布式训练 ``` 如果你没有进行上述设置，那么每个进程可能会尝试独立地初始化过程组，导致冲突。检查是否有遗漏的初始化步骤，尤其是在多进程或多机器设置中。
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值