torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

已于 2024-03-28 20:34:00 修改
阅读量2k 收藏 1
点赞数 1
分类专栏： python基础 文章标签： 深度学习 python 人工智能
于 2024-03-28 19:04:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/137121257
版权

torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

原因：torch的cu版本与使用的CUDA版本不一致。

解决方案：因为我的CUDA是11.6，所以运行下方（需注意cu版本要低于nvidia-smi里的CUDA版本）：

pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu116

查了一下cuda 11.8

另一种方法：

torch.distributed.elastic.multiprocessing.errors.ChildFailedError-CSDN博客

修改finetune_qlora_ds.sh，设置GPUS_PER_NODE与可使用GPU数相同

GPUS_PER_NODE=2

torch.distributedtorch.distributed…DistBackendErrorDistBackendError: : NCCL error in: …/torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1275, internal error, NCCL version 2.14.3

这个不知道什么原因，然后解决方法是
增加环境变量NCCL_SOCKET_IFNAME=eth2

AI算法网奇
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
科研学习笔记！
06-26 9378
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
PyTorch Elastic ：PyTorch分布式训练框架-python
06-18
PyTorch Elastic ：PyTorch分布式训练框架 TorchElastic TorchElastic 允许您以容错和弹性的方式启动分布式 PyTorch 作业。 有关最新文档，请参阅我们的网站。 要求 torchelastic 需要 python3 (3.6+) torch etcd 安装 pip install torchelastic Quickstart 容错在 4 个节点上，8 个训练器/节点，总共 4 * 8 = 32 个训练器。 在所有节点上运行以下命令。 python -m torchelastic.distributed.launch --nnodes=4 --nproc_per_node=8 --rdzv_id=JOB_ID --rdzv_backend=etcd --rdzv_endpoint=ETCD_HOST:ETCD_PORT YOUR_TRAINING_SCRIPT.py (--arg1 ...训练脚本参数.. .) 弹性在 1 ~ 4 个节点上，8 个训练器/节点，总共 8 ~ 32 个训练器。 作业在 1 个节点健康后立即开始，您
【待解决】报错：gpt模型训练的时候，有报错的torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
测试人的成长日志
09-14 1473
pytorch多GPU并行的问题_torch.distributed.elastic.multiprocessing.errors.c-CSDN博客
报错：torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
2301_77554343的博客
03-26 3141
torch.distributed.elastic.multiprocessing.errors.ChildFailedError: 这个主要是torch的gpu版本和cuda不适配。但是我发现下这个也不行，就降低了一个小版本，但还是cu118 就OK了。附个地址，可以去寻找对应的gpu版本torch。一定要cu版本和nvcc 的版本相对应！我的nvcc -V是11.8。
全量微调Llama2-7b遇到的错误(stanford_alpaca)_bash pretrain_llama2_7b_distributed_zl200
最新发布
2401_84009679的博客
04-22 746
项目地址： GitHub - tatsu-lab/stanford_alpaca: Code and documentation to train Stanford’s Alpaca models, and generate the data.Code and documentation to train Stanford’s Alpaca models, and generate the data. - tatsu-lab/stanford_alpacahttps://github.com/tatsu-l
pytorch多GPU并行的问题
rucieryi369的博客
05-11 2万+
以下是在多GPU并行torch程序的时候出现的问题以及解决方案： 1.torch.distributed.elastic.multiprocessiong.erroes.ChildFailedError: 此类问题的解决方案：1.查看安装的包是否与要求的一致。 2.更改batch的大小。 3.查看其中是否有某一个gpu被占用。 2. torch.distributed.elastic.multiprocessing.api.SignalException: Process 40121 got
YOLOv8修改了网络结构后，多卡训练报错：torch.distributed.elastic.multiprocessing.errors.ChildFailedError
记录我目之所及的世界
12-25 986
YOLOv8修改了网络结构后，多卡训练报错：torch.distributed.elastic.multiprocessing.errors.ChildFailedError
yolov7 多卡训练显示torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
woshi212534的博客
11-02 1150
大概率是因为pytorch版本的问题，在2.0版本中local_rank变为了local-rank。1.首先把数据集里的label.cache清掉。
【异常错误】torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
简单记录生活、学习
07-14 8326
昨天运行的时候总是出现这个错误意思就是子线程有错误，但是却不报错，debug半天后是“”这一行出错了，但是我把这行代码单独放在一个新建的项目的py文件，然后运行没有错误，真是服了，改天了一天也没弄好。
torch.distributed.elastic.multiprocessing.errors.ChildFailedError
yyz2080的博客
01-17 1969
修改finetune_qlora_ds.sh，设置GPUS_PER_NODE与可使用GPU数相同。
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型中的权重和偏置，它们在训练过程中会被优化算法更新以最小化损失函数。本文将深入探讨`torch.nn....
基于torch.where和布尔索引的速度比较
09-18
今天小编就为大家分享一篇基于torch.where和布尔索引的速度比较，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch:torch.mm()和torch.matmul()的使用
09-18
今天小编就为大家分享一篇pytorch:torch.mm()和torch.matmul()的使用，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【报错】1、RuntimeError: CUDA out of memory.2、torch.distributed.elastic.……erroes.ChildFailedError
weixin_50952710的博客
12-11 1816
1、RuntimeError: CUDA out of memory. Tried to allocate 592.00 MiB (GPU 3; 10.76 GiB total capacity; 9.08 GiB already allocated; 296.56 MiB free…… 2、torch.distributed.elastic.multiprocessiong.erroes.ChildFailedError
训练DiT报错ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0
计算机视觉
11-27 6768
运行Dit时，torchrun --nnodes=1 --nproc_per_node=8 train.py --model DiT-XL/2 --data-path /home/pansiyuan/jupyter/qianyu/data。此时是多卡计算看不到报错信息。
【解决】pytorch单机多卡问题：ERROR: torch.distributed.elastic.multiprocessing.api:failed
热门推荐
傲笑风的博客
09-16 6万+
最近在使用单机多卡进行分布式（DDP）训练时遇到一个错误：ERROR: torch.distributed.elastic.multiprocessing.api:failed。 而实际报错的内容是：ValueError: sampler option is mutually exclusive with shuffle.
torch.distributed.elastic.multiprocessing.errors.childfailederror:
06-28
### 回答1： "torch.distributed.elastic.multiprocessing.errors.childfailederror" 意思是在使用 torch.distributed.elastic 进行多进程训练时，子进程发生了错误。这可能是由于网络问题或其他原因导致的。建议检查代码和调试信息，以确定问题所在。 ### 回答2： torch.distributed.elastic.multiprocessing.errors.childfailederror 是 PyTorch 的分布式框架中的一个错误类型，通常会在使用分布式训练时出现。 出现这个错误的原因可能很多，具体取决于代码和环境。以下是一些常见的原因： 1. 程序出错：子进程可能会因为各种原因而崩溃，例如代码错误、内存不足、处理器负载等。如果子进程出错，则父进程将会抛出 torch.distributed.elastic.multiprocessing.errors.childfailederror 异常。 2. 子进程在运行时被杀死：操作系统可能会在一些情况下，如内存不足时，或运行时间过长时，将子进程强制杀死，这也可能导致此错误。 3. 端口占用：多个进程试图绑定到同一个端口时，可能会出现此错误。检查端口是否被占用并尝试更改端口。 4. Python 版本不兼容：确保使用的 Python 版本与所使用的 PyTorch 版本兼容。 5. 数据集或数据大小问题：如果出现数据集过大，内存不足等问题，也可能导致错误。 为了解决这个问题，可以尝试以下步骤： 1. 检查代码错误：检查代码是否存在问题，确保代码在单进程模式下正常运行。排除代码问题后，再观察分布式模式下的表现。 2. 增加内存：使用更高的内存配置，可以避免一些内存不足的可能性。 3. 重启环境: 有时候，重启环境也可以解决这个问题。 4. 增加节点数：为降低单节点的负载，可以在使用并行训练时，增加节点数，从而提高整体负载能力。 总之，要解决 torch.distributed.elastic.multiprocessing.errors.childfailederror 错误，需要对其进行彻底分析，确定错误的原因，并根据具体情况采用相应的解决方案。 ### 回答3： torch.distributed.elastic.multiprocessing.errors.childfailederror 是 PyTorch 分布式 Elastic 支持中的一个错误信息。当 Elastic 训练过程中，在一个 worker node 上运行的子进程（child process）发生错误时，就会抛出这个错误。这种错误通常由以下的一些原因引起： 1. 子进程的代码 Bug：子进程代码中可能存在错误，如语法错误、空指针异常、变量未定义等错误，这些错误会导致子进程运行失败。 2. 子进程内存溢出：如果子进程需要分配的内存超过了系统的可用内存大小，就会发生内存溢出错误，导致子进程运行失败。 3. 硬件故障：如果运行 Elastic 训练的 worker node（包括运行子进程的节点和其他节点）出现硬件故障，例如硬件损坏、电源故障等，也可能导致子进程运行失败。 当出现 torch.distributed.elastic.multiprocessing.errors.childfailederror 错误时，可以通过以下的方法进行排查和处理： 1. 检查子进程的代码，看是否存在语法错误、未定义变量等问题。 2. 检查系统的内存状态，是否存在内存不足的情况。 3. 检查系统的硬件状态，是否出现硬件故障，例如磁盘损坏等。 如果以上三种问题都不存在，仍然无法解决问题，可以考虑降低 Elastic 训练的规模、重新配置 worker node 等措施，以解决 torch.distributed.elastic.multiprocessing.errors.childfailederror 错误。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值