NCCL报错 Bootstrap : no socket interface found 解决

最新推荐文章于 2025-03-13 01:27:17 发布
最新推荐文章于 2025-03-13 01:27:17 发布
阅读量2.1k 收藏 3
点赞数 9
文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq874455953/article/details/136846355
版权

报错

torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1251, internal error - please report this issue to the NCCL developers, NCCL version 2.18.6
ncclInternalError: Internal check failed.
Last error:
Bootstrap : no socket interface found

解决

NCCL_SOCKET_IFNAME=en,eth,em,bond

ERROR: No matching distribution found for cv2报错,成功 解决
weixin_45827692的博客
04-03 5074
无法安装CV2,pip install cv2 也无法解决 解决方法：pip install opencv
报错：The client socket has failed to connect to...如何解决？
最新发布
**My Coding Family**
04-16 903
🏆本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！ 备注：部分问题/疑难杂症搜集于互联网。
【debug】NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1191, unhandled system err
热门推荐
向上生长的程序媛的博客
08-18 1万+
mmseg工程单机多卡可以顺利运行训练，切换到多机多卡训练就报错。
deepspeed 训练多机多卡报错 ncclSystemError Last error
高颜值的杀生丸(此博客转载自我的博客园)
04-18 1762
最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed or device error. 10.255.19.85: Last error:10.255....
【微知】NCCL通信库的环境变量有哪些如何设置？（NCCL_DEBUG、NCCL_SOCKET_IFNAME、NCCL_IB_HCA）
技术札记
03-13 1060
VersionAlgorithm2.5+Ring 戒指2.5+Tree 树Collnet 科内特2.14+2.14+2.17+NVLS 系列2.18+NVLSTree2.23+PAT 帕特。
出现RuntimeError: NCCL Error 3: internal error - please report this issue to the NCCL developers问题
weixin_46429533的博客
08-01 1106
一般是torch和cuda版本不对。卸载原先的torch gpu版本。#2 重新安装torch。#1 查看cuda版本。再去官网找正确版本安装。
当出现报错信息：ncclInternalError: Internal check failed.
weixin_46429533的博客
08-01 579
此处eth0为每台机器的网卡名字，使用ifconfig查看，要是出现多个网卡名字，找到那个有IP地址。
Deepspeed Nccl test fails on- misc/socket.cc:483 NCCL WARN socketStartConnect: Connect to xxx failed
weixin_45769992的博客
09-09 861
这个问题很容易就被Nccl版本等各种信息带偏，我一顿操作下来，又是check环境，又是重装环境，毫无作用，后面仔细一看，原来socket连接不上，按不得报nccl错嘛。
WSL2，NCCL报错RuntimeError: NCCL Error 2: unhandled system error
cascgu的博客
11-03 8429
在WSL2上使用pytorch1.7.1，无法进行多显卡分布式训练，提示“RuntimeError: NCCL Error 2: unhandled system error”，一直不知道什么意思，后来上网搜索，发现可以打印nccl的日志 （链接） ，以获得更为详细的出错提示。随即在环境变量里添加了 export NCCL_DEBUG=info export NCCL_SOCKET_IFNAME=eth0 export NCCL_IB_DISABLE=1 再次训练，这次打印出了更为详细的错误信息。如下
报错ImportError: libnccl.so.2: cannot open shared object file: No such file or directory
qq_55736201的博客
05-16 1800
原因:没安装nccl库。
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.
jacke121的专栏
03-28 6877
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.
单机多卡训练报错NCCL版本有问题
weixin_42896263的博客
01-09 3499
增加环境变量NCCL_SOCKET_IFNAME=eth2。这个不知道什么原因，然后解决方法是。
torch.distributed.DistBackendError: NCCL error in:
m0_47192953的博客
04-25 2094
查看eno，有的人是eno，查看docker之后第一组。在deepspeed训练模型中存在。
实验室GPU编号在pytorch和nvidia-smi中不一致引起的NCCL的分布式训练bug
JackHu12345的博客
06-06 9100
（5）思考NCCL错误相关的可能因素，主要是指定GPU编号然后设置不同线程使用的device的时候，会产生这样的编号-硬件设备对应上面的错误，因此得考虑实验室机器和超算机器上面在这里的不同之处。（7）查阅了相关原因，添加了环境变量，让pytorch的顺序和nvidia-smi读取的顺序一致，问题居然就立即解决了。（6）想起来实验室机器在nvidia-smi的时候，gpu顺序和pytorch进行指定的时候，顺序不一致。（4）将超算的环境配置导出，在实验室机器上跑，还是完全相同的问题，无法复现。
mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 1965
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
2. 多机多卡运行nccl-tests对比分析
Pretend的博客
04-24 5108
NCCL是深度学习训练中的一个关键组件，因为它能够有效地在多个GPU之间传输数据，这对于加速神经网络的训练非常重要。在现代的深度学习框架中，如TensorFlow、PyTorch和Keras，NCCL通常作为后端通信库，与框架的API紧密集成，为用户提供一个简单易用的编程接口。 这里通过使用不同的网络配置，在双机进行了nccl-test测试，获得了不同的结果，并尝试进行简单分析。
NCCL启动机制 - Bootstrap
漫河
06-27 2338
介绍NCCL Bootstrap过程。
解决报错RuntimeError: [1] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d
发现问题，并解决问题，批判性思维
01-06 5626
一、问题描述 二、解决方法 一、问题描述 在集群上使用deepspeed训练大模型报错：RuntimeError: [1] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d key-value store by key ‘0’, but store->get(‘0’) got error: Connection reset by peer 二、解决方法 可能是由于网络问题或节点之间的通信中断引起的。可
bootstrapnccl
01-21
### NCCL 和 Bootstrap 技术概述 NCCL (NVIDIA Collective Communications Library) 是一种用于加速 GPU 之间通信的库，特别是在多节点或多GPU环境中。该库提供了高效的集体通信原语，如广播、规约和全归约等操作。 当遇到 `/data/jenkins_workspace/workspace/rcclrelease/src/bootstrap.cc:41 NCCL WARN Bootstrap : no socket interface found` 的警告时，这通常意味着 NCCL 尝试初始化网络接口以促进不同计算节点间的通信失败了[^1]。 ### 解决方案与配置建议 对于上述错误消息，可以采取以下措施来解决问题： - **确认网络设置**：确保所有参与集群中的机器能够通过IP地址互相访问，并且防火墙允许必要的端口通讯。 - **检查驱动版本兼容性**：验证所使用的 NVIDIA 驱动器版本是否支持当前硬件以及操作系统环境下的 NCCL 版本需求。 - **禁用不必要的内核模块**：有时默认加载的一些 Linux 内核模块可能会干扰 NCCL 正常工作，在某些情况下可能需要禁用这些模块（例如 `nouveau`），具体命令如下所示： ```bash sudo yum remove nouveau-kmod echo "blacklist nouveau" | sudo tee /etc/modprobe.d/blacklist-nvidia-nouveau.conf ``` - **安装依赖项**：如果是在 CPU-only 环境下运行，则应跳过 CUDA 相关组件而专注于其他必需件，比如 BLAS 库可以通过下面这条指令获取： ```bash sudo apt-get install libatlas-base-dev ``` - **编译工具链准备**：为了成功构建项目，还需要准备好合适的 GCC 编译器及其配套资源。对于基于 CentOS 7 的系统来说，默认提供的开发套件应该已经包含了所需的大部分内容；不过最好还是手动检验一遍核心头部文件的存在情况并按需补充缺失部分： ```bash sudo yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) ``` 以上步骤有助于解决由于缺少适当网卡而导致无法创建有效套接字连接的问题，从而使得 NCCL 能够顺利启动其引导过程[^2][^4]。 ### 示例代码片段展示如何正确导入 NCCL 并执行简单集合运算 ```cpp #include <nccl.h> // 初始化 ncclComm_t 对象... ncclUniqueId id; if (rank == ROOT_PROCESS){ ncclGetUniqueId(&id); } MPI_Bcast((void*)&id, sizeof(id), MPI_BYTE, ROOT_PROCESS, comm); ncclCommInitRank(&comm, size, id, rank); // 执行 AllReduce 操作作为例子 float sendbuff[COUNT], recvbuff[COUNT]; for(int i=0; i<COUNT; ++i){sendbuff[i]=value;} ncclAllReduce(sendbuff,recvbuff,COUNT,ncclFloat,ncclSum,comm,&stream); cudaStreamSynchronize(stream); // 清理释放资源 ncclCommDestroy(comm); ``` 这段 C++ 代码展示了怎样利用 NCCL 实现跨设备的数据同步处理流程的一部分——即所谓的 all-reduce 操作。这里假设读者熟悉基本的 CUDA 编程概念以及 OpenMP 或者类似的并行编程模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值