[swin-trans]分布式训练的debug：ValueError: Error initializing torch.distributed using env:// rendezvous: en

最新推荐文章于 2024-09-22 10:36:48 发布
最新推荐文章于 2024-09-22 10:36:48 发布
阅读量2w 收藏 53
点赞数 9
分类专栏： debug python linux 文章标签： python
原文链接：https://blog.csdn.net/weixin_35757704/article/details/118699506
版权
python 同时被 3 个专栏收录
453 篇文章 19 订阅
订阅专栏
linux
66 篇文章 1 订阅
订阅专栏
debug
42 篇文章 0 订阅
订阅专栏

仅作为记录，大佬请跳过。

在用torch.distributed.init_process_group(backend='nccl', init_method='env://', world_size=world_size, rank=rank)时，出现

文章目录

1、ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable MASTER_ADDR expected, but not set

解决

加入

os.environ['MASTER_ADDR'] = 'localhost'

在这里插入图片描述

2、ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable MASTER_PORT expected, but not set

解决

加入

os.environ['MASTER_PORT'] = '12345'

即可。

参考

感谢大佬博主文章：传送门

在这里插入图片描述

***

[swin-trans]分类的训练命令，还是得按照microsoft的说明进行（其使用的是分布式训练）

博主在xshell命令行运行python -m torch.distributed.launch --nproc_per_node 1 --master_port 12345 main.py

可以直接跑通（但在pycharm调试时，需要做如上设置）

展示

在这里插入图片描述

微软swin-trans分类训练网址

传送门

在这里插入图片描述

captain飞虎大队
关注
专栏目录
【踩坑日记10】ValueError: Error initializing torch.distributed using env:// rendezvous: environment variab
weixin_47894469的博客
03-24 1522
【代码】【踩坑日记10】ValueError: Error initializing torch.distributed using env:// rendezvous: environment variab。
Swin-Transformer 图像分割实战：使用Swin-Transformer-Semantic-Segmentation训练ADE20K数据集（语义分割）(1)
2401_84140384的博客
05-06 992
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
解决ValueError: Error initializing torch.distributed using env:// rendezvous:: environment variable 报错
weixin_57634679的博客
02-17 1万+
解决ValueError: Error initializing torch.distributed using env:// rendezvous:: environment variable 报错
（已解决）ValueError initializing torch.distributed using env:// rendezvous: environment variable MASTE
最新发布
qq_43391414的博客
09-22 605
而且还使用了以下这些东西。这个错误是在使用多进程。
【opengait】ValueError: Error initializing torch.distributed using env:// rendezvous: environment vari
weixin_46135327的博客
11-29 5106
ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable RANK expected, but not set
解决pytorch多进程ValueError: Error initializing torch.distributed using env:// rendezvou...报错
热门推荐
呆萌的代Ma
07-13 3万+
完整报错为：ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable MASTER_ADDR expected, but not set 解决方法1： 在代码中使用： import os os.environ['MASTER_ADDR'] = 'localhost' os.environ['MASTER_PORT'] = '5678' 解决方法2： 如果是运行命令行的，可以
报错：ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable MA
weixin_51670564的博客
08-31 921
这意味着主节点位于本地计算机上，即当前运行代码的计算机。通常，这个地址是主节点的 IP 地址或主机名。指定正确的主节点地址对于其他计算节点能够连接到主节点至关重要。，这是一个数字，用于表示主节点侦听传入连接的端口。每个节点都需要知道主节点在哪个端口上侦听连接，以便能够与主节点进行通信。在分布式计算环境中，各个计算节点（包括主节点）通过这两个环境变量来协调通信，以便能够一起执行任务。：这是指定主节点的端口号的环境变量。：这是指定主节点的地址的环境变量。，它们用于配置分布式计算的主节点信息。
基于Swin-Trasnformer的图像分割、语义分割
10-31
可以使用自己的数据集，若使用自己的数据集，需要先对label进行voc格式转换，代码位于tools文件夹下voc.py，使用流程为使用train脚本训练网络，使用prediction脚本输出分割结果。图片位于data文件夹下，可以更换为...
Swin-Unet网络预训练模型，swin-tiny-patch-window7-224.pth
04-27
预训练模型“swin-tiny-patch-window7-224.pth”是Swin-Unet网络在大规模数据集上训练得到的权重，其中"swin-tiny"表示这是一个轻量级的模型配置，适合资源有限的环境；"patch-window7"指的是模型使用了7x7的窗口...
基于Swin-Unet自适应多尺度训练、多类别分割、迁移学习：CT人体腰椎分割（8类）【包含数据、代码】
07-02
基于Swin-Unet自适应多尺度训练、多类别分割、迁移学习：CT人体腰椎分割（8类） 代码详细介绍以及更换数据集参考readme文件或者参考博文：https://blog.csdn.net/qq_44886601/article/details/137043026 代码介绍...
torch分布式训练报错
qq_33596242的博客
08-22 3602
CUDA_VISIBLE_DEVICES这个变量设置成自己想用的gpu序号即可。
【分布式多卡训练问题】：error: unrecognized arguments:Error initializing torch.distributed using env:// rendezvo
sept_boy的博客
08-08 280
在分布式训练时可能会遇到以下报错。
ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable RANK
东皇太一在此的博客
11-01 1089
【代码】ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable RANK。
报错: environment variable RANK expected, but not set
weixin_44504393的博客
10-09 1万+
报错：ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable RANK expected, but not set
DAMOYOLO windows 单卡训练
athrunsunny的博客
12-04 1474
最近达摩院放出了目前最能打的yolo算法，时间和精度都得到了提升 目前代码已经开源： 代码预设仅支持分布式训练，对于硬件资源有限的小伙伴来说，算法的训练就不是太友好了，但是对于想要尝试的小伙伴还是有办法的 1、增加 否则会报：2、windows不支持nccl backbone所以init_process_group中改为‘gloo’二、改配置configs\xxx.py找到代码17行的ps：建议设置为8， 训练过程中占用显存较大三、改数据集路径damo\config\paths_catal
torch训练一些小细节
qq_39462585的博客
02-17 2408
torch训练一些小细节一、模板：二、加入梯度剪切 一、模板： 经典训练模板： for i, (image, label) in enumerate(train_loader): # 1. input output pred = model(image) loss = criterion(pred, label) # 2. backward optimizer.zero_grad() # reset gradient loss.backward()
torch之distributed training(分布式训练)
Nicola.Zhang
07-10 1万+
对于分布式训练的理解 分布式训练是多线程多节点训练，但是若是模型过大，导致单一图像已经超出单个GPU显存大小，则和单机多卡中的数据并行效果一致，都会导致out of memary问题； 模型并行其运行速率太慢，相当于是每次只能在单一卡上运行，会出现显卡空闲的情况，解析见下： pytorch单机并行训练 torch-1.0分布式训练实例解析，主要流程： parsers中添加相关参数解析...
torch.distributed学习记录
学无止境、积少成多、厚积薄发
10-29 1019
分布式通信包 - torch.distributed torch.distributed包为在一台或多台机器上运行的多个计算节点上的多进程并行性提供PyTorch支持和通信原语。类 torch.nn.parallel.DistributedDataParallel()基于此功能构建，以提供同步分布式训练作为包装器任何PyTorch模型。 https://www.jianshu.com/p/5f6cd6b50140 https://pytorch.org/docs/stable/distributed.htm
ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable WORLD_SIZE expected, but not set 什么意思，怎么解决
07-09
这个错误提示意味着在初始化 torch.distributed 时，使用了 env:// 方式，但环境变量 WORLD_SIZE 没有被设置。 在使用 torch.distributed 进行分布式训练时，需要设置一些环境变量来指定训练的参数，其中包括 WORLD_SIZE，它表示总共使用的进程数。如果没有正确设置这些环境变量，就会导致这个错误出现。 要解决这个问题，你需要确保在运行分布式训练脚本之前设置了必要的环境变量。具体来说，你需要设置以下环境变量： - WORLD_SIZE：表示总共使用的进程数。 - MASTER_ADDR：表示用于进行进程间通信的主节点的地址。 - MASTER_PORT：表示用于进行进程间通信的主节点的端口号。 例如，在 Linux 或 macOS 上，可以在终端中执行以下命令来设置这些环境变量： ``` export WORLD_SIZE=4 export MASTER_ADDR=127.0.0.1 export MASTER_PORT=1234 ``` 在 Windows 上，可以使用以下命令来设置这些环境变量： ``` set WORLD_SIZE=4 set MASTER_ADDR=127.0.0.1 set MASTER_PORT=1234 ``` 确保在运行你的分布式训练脚本之前设置了这些环境变量，并将其中的值根据你的实际情况进行相应的修改。 希望这能帮到你！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值