记录报错 nccl

于 2024-02-24 01:55:16 发布
阅读量776 收藏
点赞数 3
文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44182383/article/details/136266144
版权

 work = group.allreduce([tensor], opts)
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/NCCLUtils.hpp:219, invalid argument, NCCL version 2.14.3
ncclInvalidArgument: Invalid value for an argument.
Last error:
Invalid config blocking attribute value -2147483648

解决办法

pip list | grep nccl

看看有几个 比如我的就有这个

nvidia-nccl-cu11          2.14.3
nvidia-nccl-cu12          2.18.1

卸载

pip uninstall nvidia-nccl-cu11

堂堂客
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
torch.distributed.DistBackendError: NCCL error in:
m0_47192953的博客
04-25 647
查看eno，有的人是eno，查看docker之后第一组。在deepspeed训练模型中存在。
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.
最新发布
jacke121的专栏
03-28 2134
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.
【debug】NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1191, unhandled system err
向上生长的程序媛的博客
08-18 6266
mmseg工程单机多卡可以顺利运行训练，切换到多机多卡训练就报错。
单机多卡训练报错NCCL版本有问题
weixin_42896263的博客
01-09 1589
增加环境变量NCCL_SOCKET_IFNAME=eth2。这个不知道什么原因，然后解决方法是。
基于V100下Llama2-Atom大模型微调
玖玖玖
11-21 982
本文–include localhost:0，1，2，3，4，5，6，7。原子大模型Atom在Llama2的基础上，采用大规模的中文数据进行持续预训练，包含百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等，详见📝 数据来源。通过PEFT加载预训练模型参数和微调模型参数，以下示例代码中，base_model_name_or_path为预训练模型参数保存路径，finetune_model_path为微调模型参数保存路径。
DeepSpeed多卡训练问题梳理
u012395477的博客
07-03 7154
DeepSpeed多级多卡问题处理
nccl-master.rar
04-09
"nccl-master.rar" 是一个压缩文件，根据命名规则，"nccl" 可能是指 NVIDIA Collective Communications Library（NVIDIA 集群通信库），而 "master" 通常指的是软件开发中的主分支或者主线版本，意味着这是nccl库的...
libxgboost.so GPU+nccl
07-02
libxgboost.so libxgboost.so GPU+nccl NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，Nvidia做了很多...
nccl-tests:NCCL测试
05-04
NCCL测试 这些测试同时检查操作的性能和正确性。 建造 要构建测试，只需键入make 。 如果未在/ usr / local / cuda中安装CUDA，则可以指定CUDA_HOME。 同样，如果未在/ usr中安装NCCL，则可以指定NCCL_HOME。 $ ...
nccl-rccl-parser：基于应用程序运行rccl-testsnccl-tests的工具
02-17
nccl-rccl-parser 此工具用于直接从应用程序中转出rccl-tests / nccl-test命令，以在运行分布式应用程序时使用RCCL / NCCL模块时识别任何潜在的扩展瓶颈。 首先，请克隆以下存储库：git clone --recursive 要运行...
nccl_2.11.4-1+cuda11.0_x86_64.txz
03-09
nccl_2.11.4-1+cuda11.0_x86_64.txz
RuntimeError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1123, internal erro
qq_49874815的博客
04-03 1893
用命令ifconfig查看网卡，然后重新设置。
mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 1384
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
【多机多卡】mmsegmentation训练报错“RuntimeError: NCCL error in: /opt/pytorch/pytorch/torch/csrc/distributed/”
向上生长的程序媛的博客
11-14 2017
多机多卡训练报错RuntimeError: NCCL error in: /opt/pytorch/pytorch/torch/csrc/distributed
Docker运行PyTorch的一次记录
芒果干的博客
01-04 2242
其实在之前制作完Docker镜像之后，我就用Docker运行过一次程序，但可能最近比较忙，就没有用他来调试PyTorch，下面我记录了一次成功运行PyTorch的经历 首先我们进入Docker docker run -it --gpus all -v /data4/wangyh:/res nvidia/cuda:v5 /bin/bash` 进入Docker之后进入到res文件夹找到docker中挂载的程序，然后用torch.distributed.launch来运行程序，如下 python -m torc
RuntimeError: NCCL error in:torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version 踩坑
Alex.W.的机器学习之路
10-29 4429
运行pytorch分布式任务时，可能在执行dist.barrier()这条代码时会触发NCCL错误：RuntimeError: NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version。
unhandled cuda error, NCCL version 2.10.3报错解决
a_145133的博客
05-08 2493
这个警告并不会导致代码运行中止，但是给了我启发，我觉得可能就是torch版本与cuda版本不匹配，自然与NCCL也不匹配，于是我删除了torch，使用pytorch官网提供的与本电脑匹配的安装命令行来安装，安装后果然问题解决。在运行这个模型时，我是直接使用require.txt来配置环境的，但是使用这个配置环境是比较死板的，并没有考虑到每个人的电脑本身的各项参数配置。分析：NCCL:一般来是是在配置cuda时就已经配置好了对应版本的NCCL了。之后根据pytorch官网给的命令安装pytorch即可。
NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL ,unhandled cuda error, NCCLversion 2.7.8
热门推荐
进一寸有一寸的欢喜
04-24 1万+
结论 pytorch 、cudatoolkit、cuda驱动的版本需一致 问题描述 使用多GPU训练 stylegan3 模型时： python train.py --outdir=training-runs --cfg=stylegan3-r \ --data=datastes/your_data.zip \ --cfg=stylegan3-r --gpus=4 --batch=32 --gamma=8 --kimg=1800 --snap=50 --tick=2 报错信息 torch.
torch.distributed.
10-27
torch.distributed是PyTorch中用于分布式训练的模块。它提供了一组用于在多个进程之间进行通信和同步的函数，以便在分布式环境中进行模型训练。其中包括上述三个函数：torch.distributed.barrier、torch.distributed.send和torch.distributed.isend。 1. torch.distributed.barrier函数用于在分布式环境中同步多个进程。当一个进程调用该函数时，它会等待所有其他进程也调用该函数，然后所有进程才会继续执行。 2. torch.distributed.send函数用于将张量发送到指定的进程。它需要指定要发送的张量、目标进程的ID和可选的标记。 3. torch.distributed.isend函数与torch.distributed.send函数类似，但它是异步的，即它不会等待接收进程接收数据。相反，它会立即返回一个请求对象，该对象可以用于检查发送是否完成或等待发送完成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值