NCCL 实践与体会

最新推荐文章于 2024-08-11 15:47:31 发布
最新推荐文章于 2024-08-11 15:47:31 发布
阅读量847 收藏 10
点赞数 8
文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjw7869/article/details/135208119
版权
本文介绍了如何设置环境变量以优化NCCL（NVIDIACollectiveCommunicationLibrary）在启用IB/ROCE网络通信时的性能，包括禁用不必要的功能如P2P和SHM，并指定HCA（硬件连接适配器）。sendrecv_perf示例展示了相关调优方法。
摘要由CSDN通过智能技术生成

1. 介绍 

2.  NCCL

开启IB/ROCE/的环境变量设置

export NCCL_IB_DISABLE=0;export NCCL_P2P_DISABLE=1;NCCL_SHM_DISABLE=1 NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_4,mlx5_5;sendrecv_perf -b 8 -e 8192M -f 2 -g 4

HehuaTang
关注
nvidia nccl安装和测试的实战教程
weixin_43178406的博客
06-20 4万+
本文主要介绍了nvidia nccl安装和测试的实战教程，希望能对安装和使用NCCL的同学们有所帮助。 文章目录 1. 问题描述 2. 实战教程 2.1 安装NCCL 2.2 验证NCCL
【分布式】入门级NCCL多机并行实践 - 02
2401_84433974的博客
04-27 2076
从上图可知，1.6版本左右的PyTorch调用结构如下，最后在ProcessGroup.hpp可以找到对NCCL、Gloo和MPI的调用。而这些蓝色的部分就是基本的分布式通讯库，他们负责实现通讯和一部分计算功能。
nccl-tests:NCCL测试
05-04
NCCL测试 这些测试同时检查操作的性能和正确性。 建造 要构建测试，只需键入make 。 如果未在/ usr / local / cuda中安装CUDA，则可以指定CUDA_HOME。 同样，如果未在/ usr中安装NCCL，则可以指定NCCL_HOME。 $ make CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl NCCL测试依赖MPI来处理多个进程，因此可以处理多个节点。 如果要编译具有MPI支持的测试，则需要设置MPI = 1并将MPI_HOME设置为MPI的安装路径。 $ make MPI=1 MPI_HOME=/path/to/mpi CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl 用法 NCCL测试可以在多个进程，多个线程以及每个线程多个CUDA设备上运行。 进程数由MP
万字长文详解AI集群基础设施InfiniBand
最新发布
人工智能曾小健
08-11 437
GPUDirect Peer-to-Peer（P2P）技术主要用于单机GPU间的高速通信，它使得GPU可以通过PCI Express直接访问目标GPU的显存，避免了通过拷贝到CPU host memory作为中转，大大降低了数据交换的延迟。
NCCL库的相关环境配置
assassins123的博客
05-28 1187
至此可以顺利在自己的电脑中跑nccl和nccl-test的官方案例了。
NCCL相关笔记
eternal963的博客
05-18 8921
NCCL是NVIDIA集合通信库（NVIDIA Collective Communications Library）的简称，是用于加速多GPU之间通信的库，能够实现集合通信和点对点通信。
NCCL变量设置
weixin_56515806的博客
08-02 2924
这些是环境变量的设置命令，用于配置 NVIDIA Collective Communications Library (NCCL)的运行参数。NCCL_DEBUG=INFO 含义。
Pytorch 分布式并行DDP 卡死 挂起
qq_40947610的博客
11-30 8221
Pytorch 分布式并行DDP 卡死，设置NCCL_P2P_DISABLE=1禁用GPU之间直接通信即可解决。
NCCL不同原语操作的算力带宽与总线带宽
weixin_43791937的博客
07-25 412
in−1o_K = i_0 + i_1 + i_2 + …+ i_{n-1}oK=i0+i1+i2+…示例：o0=o1=o2=…=on−1=iKo_0 = o_1 = o_2 = …= o_{n-1} = i_Ko0=o1=o2=…=on−1=iRo_0 = o_1 = o_2 = …= o_{n-1} = i_Ro0=o1=o2=…+in−1o_R = i_0 + i_1 + i_2 + …示例：o_0 = o_1 = o_2 = …= o_{n-1} = i_0 + i_1 + i_2 + …
ubuntu1604+nccl1.2.3+cuda8.0源码
01-04
NCCL 1.2.3与CUDA 8.0结合，为Ubuntu 16.04上的多GPU环境提供了高效的通信解决方案。通过源码安装，开发者可以根据自己的需求进行定制，优化性能，同时也能更好地理解和调试NCCL的工作机制。遵循readme文件的指导，...
`NCCL_P2P_DISABLE=“1“` and `NCCL_IB_DISABLE=“1“ 及NCCL 安装方法
Aorg1的博客
06-10 822
NotImplementedError: Using RTX 4000 series doesn't support faster communication broadband via P2P or IB. Please set `NCCL_P2P_DISABLE="1"` and `NCCL_IB_DISABLE="1" or use `accelerate launch` which will do this automatically. 报错解决方案 安装nccl
多卡运行分布式训练卡死 nccl_p2p_disable iommu=pt
hknaruto的专栏
01-17 337
多卡运行分布式训练卡死 - 知乎
多机多卡训练组网及配置NCCL_GDR_IB
weixin_42291173的博客
07-09 6784
GPU+Mellanox HCA GDR TEST 环境部署 1、安装nvidia驱动（建议采用最新驱动），根据操作系统和显卡型号选择即可 https://www.nvidia.cn/Download/index.aspx?lang=cn 2、安装CUDA https://developer.nvidia.com/cuda-downloads 3、安装对应操作系统版本的Mellanox OFED https://www.mellanox.com/products/infiniband-dri
分布式并行快问快答来咯！|昇思MindSpore分布式并行FAQ
huodagu的博客
08-18 306
解决方法：手动kill训练进程，根据报错日志，设置正确的卡号后，重启训练任务。A11: OpenMPI启动时，当前版本的hccl下，创建通信域时，相应的卡需要分配大约300M的device内存，因此每张卡所在的通信域的数量越多，则额外需要的内存越多，因此会有内存不足的问题。A10：这些问题，都是由于在mpirun启动其他主机时，其他主机的环境变量(包括NCCL的网卡选择配置)没有与本机同步，导致了单机多卡正常执行而多机多卡失败的现象。以上指令设置了NCCL在Host侧选择网卡名中带有eth的网卡进行通信。
python开发环境配置，conda，pytorch，cuda，cudnn, NCCL安装
home花的博客
01-18 4123
python开发环境配置，conda，cuda，cudnn
NVIDIA NCCL 源码学习（五）- 路径计算
KIDGIN7439的专栏
11-15 5511
为了方便之后的搜索channel，接下来NCCL会计算GPU和NIC节点到其他任意节点之间的最优路径
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-27 3946
​ LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略 目录 Colossal-LLaMA-2的简介 Colossal-LLaMA-2的安装 Colossal-LLaMA-2的使用方法 Colossal-LLaMA-2的简介 2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base。这个模型是LLaMA-2的一个衍生版本，
【分布式深度学习 二】--- 分布式训练demo
小欧欧的博客
08-12 942
【分布式深度学习 二】--- 分布式训练demo
NCCL与nvlink
07-28
NCCL（NVIDIA Collective Communications Library）和NVLink是与NVIDIA GPU相关的技术。 NCCL是一个用于高性能并行计算的通信库。它专门针对GPU集群计算环境进行优化，可以实现多个GPU之间的高效通信。NCCL提供了一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HehuaTang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值