错误：ERROR:torch.distributed.elastic.multiprocessing.api:failed

最新推荐文章于 2024-05-13 19:40:56 发布
最新推荐文章于 2024-05-13 19:40:56 发布
阅读量8k 收藏 7
点赞数 3
分类专栏： bug解决 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48030475/article/details/134424572
版权

在多卡运行时，会出现错误（ERROR:torch.distributed.elastic.multiprocessing.api:failed），但是单卡运行并不会报错，通常在反向梯度传播时多卡梯度不同步。但我是在多卡处理数据进行tokenizer阶段报错，这竟然也会出错，还没涉及到训练，有点不明所以。

1. 错误

在这里插入图片描述

2. 解决方法

设置find_unused_parameters=True.

3. 参考

[1] https://blog.csdn.net/QLeelq/article/details/130404416
[2] https://zhuanlan.zhihu.com/p/592515484

hj_caas
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
科研学习笔记！
06-26 9805
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
训练DiT报错ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0
计算机视觉
11-27 7749
运行Dit时，torchrun --nnodes=1 --nproc_per_node=8 train.py --model DiT-XL/2 --data-path /home/pansiyuan/jupyter/qianyu/data。此时是多卡计算看不到报错信息。
【异常错误】unrecognized arguments: --local-rank=1 ERROR:torch.distributed.elastic.multipr
最新发布
简单记录生活、学习
05-13 1076
由上图可以看出是–local_rank 与 --local-rank不一致导致的，追究原因，竟然是torch2.0版本launch.py里面写的全是–local-rank，而老版本的torch用的是–local_rank。所以将local_rank全改成local-rank即可。
初次使用单机多卡分布式训练遇到的问题汇总
m0_46738868的博客
06-30 3192
* 注：可能model = ModelBuilder().cuda()也需要改成device = torch.device(“cuda:{}”.format(int(local_rank)));model = ModelBuilder().to(device)，后来有出现一些错误，我又乱改动了，最后可以运行的版本是用device = torch.device(“cuda:{}”.format(int(local_rank)));
mmdetection3d报错问题解决汇总
非晚非晚的博客
06-14 1万+
当在mmdetection3d上添加了新的网络结构之后，使用多GPU运行程序时，会报以下错误。ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 333) of binary: /opt/conda/bin/python Traceback (most recent call last):
torch.distributed.elastic.multiprocessing.api: [WARNING] Sending process 141——YOLOv8双卡训练报错的解决方法
blink182007的博客
11-06 2970
subprocess.CalledProcessError: Command '['D:\\Anaconda\\envs\\YOLO8\\python.exe', '-m', 'torch.distributed.run', '--nproc_per_node', '2', '--master_port', '58127', 'C:\\Users\\amax这是由于上一次双卡训练直接在pycharm的terminal里面直接Ctrl+C按下去，然后终止了训练，这样可能导致了进程没有完全杀死，没有释放该进程。
【解决】pytorch单机多卡问题：ERROR: torch.distributed.elastic.multiprocessing.api:failed
热门推荐
傲笑风的博客
09-16 6万+
最近在使用单机多卡进行分布式（DDP）训练时遇到一个错误：ERROR: torch.distributed.elastic.multiprocessing.api:failed。 而实际报错的内容是：ValueError: sampler option is mutually exclusive with shuffle.
【已解决】RuntimeError: No CUDA GPUs are availableERROR:torch.distributed.elastic.multiprocessing.api:fa
BetrayFree的博客
04-19 2569
0为服务器中的GPU编号，可以为0, 1, 2, 3等，表明对程序可见的GPU编号。1. 命令：CUDA_VISIBLE_DEVICES=1 # 只有编号为1的GPU对程序是可见的，在代码中gpu[0]指的就是这块儿GPUCUDA_VISIBLE_DEVICES=0..._cuda_visible_devices。不过，很有意思的是，看的出来我这里面使用的是分布式计算，那我单机多GPU训练的时候，一个GPU上能跑几个进程呢？果然，我这机器里面只有2个GPU，但是呢，这里面的却是5，显然是没办法找到的！
torch.distributed.elastic.multiprocessing.api: [ERROR] failed (exitcode: -7)
Blankit1的博客
10-31 1730
在docker中运行时，由于配置的共享内存不足导致。新建docker时，
ERROR:torch.distributed.elastic.agent.server.local_elastic_agent:[default] Worker group failed
fanre的专栏
07-15 4204
单个GPU跑多GPU训练程序报的错误，解决方式就是os.environ['CUDA_VISIBLE_DEVICES']=[0,1]
python安装torch时遇到 ERROR: Command errored out with exit status 1:
12-22
python安装torch时遇到 ERROR: Command errored out with exit status 1: 之前用pycharm运行github上一个模型时，遇到了import torch失败的问题，而且用pip安装失败。我根据网上的教程我的博客里有详细教程用Anaconda安装了torch，问题确实得到了解决，torch安装成功。紧接着再运行模型时就发现了更多的错误，研究了很久发现是之前安装的torch版本有问题。再用pip安装就出现了上面的错误。 看到出现了这么多乱七八糟的东西就很慌,找了一下午，终于找到了最终的解决方法： 查看自己的python版本 点开自己的pyc
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.... with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
pytorch:torch.mm()和torch.matmul()的使用
09-18
在PyTorch中，`torch.mm()` 和 `torch.matmul()` 都是用来执行矩阵乘法操作的函数，但它们之间存在一些微妙的区别。本文将深入探讨这两个函数的使用、功能以及它们在不同情况下的适用性。 首先，让我们了解矩阵乘法...
PyTorch的torch.cat用法
09-16
PyTorch中的`torch.cat`函数是一个非常重要的操作，它用于将多个张量沿着指定的维度进行拼接。这个函数在构建复杂的神经网络模型，特别是在处理图像数据和序列数据时非常常用。下面我们将详细探讨`torch.cat`的使用...
python torch.utils.data.DataLoader使用方法
09-17
`torch.utils.data.DataLoader`是PyTorch框架中用于高效加载和处理数据的关键组件。它在机器学习模型的训练过程中起着至关重要的作用，因为它的功能包括数据分批、数据预处理、多线程加载以及可选的随机打乱顺序等。...
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型中的权重和偏置，它们在训练过程中会被优化算法更新以最小化损失函数。本文将深入探讨`torch.nn....
mmdet3d+waymo 踩坑+验证环境正确性流程
ZLTJohn的博客
06-06 1万+
前面配mmdet3d的时候，由于使用了最新版mmdet3d v1.0.0rc2，导致使用官方的config和model，nuscenes数据集上的eval和train结果都不对，后面用了同学环境的版本才好了，但这个时候测waymo就会报错，找了很久bug，才发现新版cuda，旧版torch和tensorflow存在一定程度的冲突，以至于一起用显卡的时候会出现问题。有空交个issue。......
【待解决】报错：gpt模型训练的时候，有报错的torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
测试人的成长日志
09-14 1769
pytorch多GPU并行的问题_torch.distributed.elastic.multiprocessing.errors.c-CSDN博客
ERROR:torch.distributed.elastic.multiprocessing.api:failed
11-28
根据提供的引用内容，可以看出这是一个关于PyTorch分布式训练的错误。`torch.distributed.elastic.multiprocessing.errors.ChildFailedError` 表示子进程出现了错误。这个错误通常是由于子进程在执行时崩溃或者被杀死导致的。如果你遇到了这个错误，可以尝试以下几种方法来解决它： 1. 检查代码是否正确：首先，你需要检查你的代码是否正确。这个错误通常是由于代码中的错误导致的。你可以检查你的代码是否符合PyTorch分布式训练的要求，例如是否正确地初始化了进程组、是否正确地使用了分布式数据并行等。 2. 检查环境是否正确：你需要确保你的环境正确。这个错误通常是由于环境不正确导致的。你可以检查你的环境是否正确地安装了PyTorch和其他必要的库。 3. 检查资源是否足够：你需要确保你的资源足够。这个错误通常是由于资源不足导致的。你可以检查你的资源是否足够，例如GPU是否足够、内存是否足够等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hj_caas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值