【分布式】入门级NCCL多机并行实践 - 02

最新推荐文章于 2024-07-08 18:04:35 发布
最新推荐文章于 2024-07-08 18:04:35 发布
阅读量2.1k 收藏 40
点赞数 51
文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84433974/article/details/138237893
版权

其中用于实现多节点分布式的组件有以下三个：

  • Distributed Data-Parallel Training (DDP)
  • RPC-Based Distributed Training (RPC)
  • Collective Communication (c10d)

分布式结构

从上图可知，1.6版本左右的PyTorch调用结构如下，最后在ProcessGroup.hpp可以找到对NCCL、Gloo和MPI的调用。

而这些蓝色的部分就是基本的分布式通讯库，他们负责实现通讯和一部分计算功能。

2. 通讯方式

已知显卡与主板通过PCIE相连，任何数据都要从PCIE和CPU穿过，这么做的效率肯定是很低的。

因此在GPUDirect技术出现以后，我们可以把GPU通信分为GPU控制的GPU通信和CPU控制的GPU通信两种。感兴趣相关的细节可以通过此文查看：【研究综述】浅谈GPU通信和PCIe P2P DMA

我们知道通信技术有很多，例如DMA，P2P。DMA和P2P都是一种能力，而非具体的协议。

2.1 DMA & P2P

DMA(Direct Memory Access，直接内存访问)，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运不需要CPU的参与。

传统内存访问需要通过CPU进行数据copy来移动数据&

最低0.47元/天 解锁文章
2401_84433974
关注
nccl-test多机多卡测试
bmseven的博客
07-03 1587
NCCL（NVIDIA Collective Communications Library）是由 NVIDIA 开发的一种高性能的多 GPU 通信库，用于在多个 NVIDIA GPU 之间实现快速的数据传输和协同计算。它可以在深度学习和高性能计算领域中提供分布式训练和数据并行加速的支持。
NCCL共享内存概念解读分析
存储随笔
06-13 1531
NCCL_SHM_DISABLE 环境变量的作用是禁用 NVIDIA Collective Communications Library (NCCL) 中的共享内存（Shared Memory，简称 SHM）传输方式。NCCL 是一个广泛用于加速多GPU间通信的库，尤其在深度学习和高性能计算领域中非常关键。
NCCL 中的一些辅助debug 知识点
最新发布
eloudy的专栏
07-08 509
在 nccl lib 中，不存在使用<<<grid, block,,>>> 这种类似方式启动kernel的情景。
使用NCCL进行多GPU训练(MULTI-GPU TRAINING WITH NCCL)
06-06
使用NCCL进行多GPU深度学习训练，其中涉及多机多卡，单机多卡等技术。 Optimized inter-GPU communication for DL and HPC Optimized for all NVIDIA platforms, most OEMs and Cloud Scales to 100s of GPUs, targeting 10,000s in the near future. Aims at covering all communication needs for multi-GPU computing. Only relies on CUDA. No dependency on MPI or any parallel environment.
1. 多机多卡运行nccl-tests和channel获取
Pretend的博客
02-12 5631
nccl中channel的概念表示一个通信路径，为了更好的利用带宽和网卡，以及同一块数据可以通过多个channel并发通信，nccl会使用多channel，搜索的过程就是搜索出来一组channel。这里-b表示minBytes，-e表示maxBytes，-g表示两张卡，-f表示数据量每次乘2，如开始是8B，往后依次是16，32，64字节…运行以下命令,这里对应双机4卡，注意np后面的进程数*单个节点gpu数（-g 指定）=总的gpu数量，即之前提到的等式。- Connolly的回答 - 知乎。
nccl-tests:NCCL测试
05-04
NCCL测试 这些测试同时检查操作的性能和正确性。 建造 要构建测试，只需键入make 。 如果未在/ usr / local / cuda中安装CUDA，则可以指定CUDA_HOME。 同样，如果未在/ usr中安装NCCL，则可以指定NCCL_HOME。 $ make CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl NCCL测试依赖MPI来处理多个进程，因此可以处理多个节点。 如果要编译具有MPI支持的测试，则需要设置MPI = 1并将MPI_HOME设置为MPI的安装路径。 $ make MPI=1 MPI_HOME=/path/to/mpi CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl 用法 NCCL测试可以在多个进程，多个线程以及每个线程多个CUDA设备上运行。 进程数由MP
【NCCL】入门（一）：介绍和简单demo
prinTao的博客
02-16 1644
NCCL（NVIDIA Collective Communications Library）是由NVIDIA开发的一种用于高性能GPU集群的通信库。它旨在提供高效的GPU间通信和协作能力，以加速分布式深度学习和其他GPU密集型计算任务。NCCL支持在多个GPU之间进行并行计算和通信。它可以在多个GPU之间实现高效的数据传输和同步，以利用集群中的所有GPU资源。被广泛用于分布式深度学习训练中，特别是在使用多个GPU进行模型训练时。它提供了一致的接口和通信原语，使不同GPU之间的数据交换和同步变得简单和高效。
【分布式】NCCL Split Tree kernel内实现情况 - 06
参谋谋的博客
03-07 1532
先掠过Tree算法在拓扑方面以及树的生成方面是如何实现的，本期主要讲kernel内部的情况。先放上2.11.4部分的tree，后续增添2.18版本中nccl的改动，以及rccl的处理。如果你看过其他的一些文档，应该知道double binary tree的一些构造。即我们可以将tree分为三类，朴素的tree、double binary tree和split tree、balanced tree。
Pytorch分布式训练
qq_45562973的博客
07-15 421
首先DistributedDataParallel是能够实现多机多卡训练的，但考虑到大部分的用户并没有多机多卡的环境，本篇博文主要介绍单机多卡的用法。简单来说，DataParallel有一个参数服务器的概念，参数服务器所在线程会接受其他线程传回来的梯度与参数，整合后进行参数更新，再将更新后的参数发回给其他线程，这里有一个单对多的双向传输。像下面一样加一个判断即可，这里的get_rank()得到的是进程的标识，所以输出操作只会在进程0中执行。下面给出一个非常精简的单机多卡示例，分为六步实现单机多卡训练。...
mpi-nccl-tests:使用GPU Direct RDMA进行MPI + NCCL测试
05-17
MPI和NCCL GPU直接RDMA测试 建造 mkdir build && cd build cmake .. && make
NCCL是Nvidia Collective multi-GPU Communication Library的简称
08-02
NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。
NCCL-用于集体多GPU通信的优化原语-C/C++开发
05-26
NCCL-集体多GPU通讯的优化原语NCCL集体多GPU通讯的优化原语。 简介NCCL（发音为“镍”）是用于GPU的标准集体通信例程的独立库，可实现全缩减，全收集，缩减，广播和缩减分散。 它已经过优化，可以在使用PCIe，NVLink，NVswitch的平台以及使用InfiniBand Verbs或TCP / IP套接字的网络上实现高带宽。 NCCL支持在单个节点上或跨节点安装的任意数量的GPU
nccl-rccl-parser：基于应用程序运行rccl-testsnccl-tests的工具
02-17
nccl-rccl-parser 此工具用于直接从应用程序中转出rccl-tests / nccl-test命令，以在运行分布式应用程序时使用RCCL / NCCL模块时识别任何潜在的扩展瓶颈。 首先，请克隆以下存储库：git clone --recursive 要运行测试，我们使用以下存储库： 在ROCm上： : 在CUDA上： : 先决条件： 已安装RCCL / NCCL。 已安装rccl-tests或nccl-tests。 如何使用该工具： 运行应用程序并收集RCCL / NCCL日志：** 首先，请确保您正在运行应用程序的分布式设置的实验。 确保使用以下两个环境变量将应用程序运行至少1次迭代，并将其运行到名为nccl_debug_log.txt的日志文件中 NCCL_DEBUG=INFO NCCL_DEBUG_SUBSYS=INIT,COLL <applic
nccl-repo-ubuntu1604-2.2.12-ga-cuda9.2_1-1_amd64.deb
07-24
ubuntu16.04 cuda9.2 nccl2.1.12 多GPU交互
[原创][深度][PyTorch] DDP入门教程
YIforeveralone的博客
10-26 2891
引言 本文首发于 知乎 DistributedDataParallel（DDP）是一个支持多机多卡训练、分布式训练的工程方法。PyTorch现已原生支持DDP，可以直接通过torch.distributed使用，超方便，不再需要难以安装的apex库啦！ 概览 想要让你的PyTorch神经网络在多卡环境上跑得又快又好？那你definitely需要这一篇！ No one knows DDP better than I do! – – magic_frog（手动狗头） 本文是DDP系列三篇（基本原理与入门
使用 Meta Llama 3 构建人工智能的未来
段智华的博客
04-19 474
使用 Meta Llama 3 构建人工智能的未来现在提供 8B 和 70B 预训练和指令调整版本，以支持广泛的应用。
【教程】简介nccl-test工具
xfxuezhang.cn
06-28 1842
NCCL是多GPU通信的首选库
(chat) ubuntu@ubun:~$ sudo apt-get update 获取:1 file:/var/nccl-local-repo-ubuntu2004-2.14.3-cuda11.7 InRelease [1,575 B] 获取:1 file:/var/nccl-local-repo-ubuntu2004-2.14.3-cuda11.7 InRelease [1,575 B] 错误:1 file:/var/nccl-local-repo-ubuntu2004-2.14.3-cuda11.7 InRelease 由于没有公钥，无法验证下列签名： NO_PUBKEY 4FA3634244000BE4 命中:2 http://ftp.sjtu.edu.cn/ubuntu focal InRelease 命中:3 http://ftp.sjtu.edu.cn/ubuntu focal-security InRelease 命中:4 http://security.ubuntu.com/ubuntu focal-security InRelease 命中:5 https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64 InRelease 命中:6 http://ppa.launchpad.net/graphics-drivers/ppa/ubuntu focal InRelease 正在读取软件包列表... 完成 W: GPG 错误：file:/var/nccl-local-repo-ubuntu2004-2.14.3-cuda11.7 InRelease: 由于没有公钥，无法验证下列签名： NO_PUBKEY 4FA3634244000BE4 E: 仓库 “file:/var/nccl-local-repo-ubuntu2004-2.14.3-cuda11.7 InRelease” 没有数字签名。 N: 无法安全地用该源进行更新，所以默认禁用该源。 N: 参见 apt-secure(8) 手册以了解仓库创建和用户配置方面的细节。
06-13
这个错误提示是因为在更新软件包列表时，apt-get无法验证`/var/nccl-local-repo-ubuntu2004-2.14.3-cuda11.7`这个仓库的数字签名。你可以按照以下步骤来解决这个问题： 1. 打开终端，输入以下命令来获取缺失的公钥： ``` sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 4FA3634244000BE4 ``` 其中，`4FA3634244000BE4`是缺失的公钥的ID。 2. 输入以下命令来更新软件包列表： ``` sudo apt-get update ``` 如果一切正常，这时你应该可以成功更新软件包列表了。 希望这可以帮助到你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值