Ring Allreduce

最新推荐文章于 2025-03-24 05:33:20 发布
最新推荐文章于 2025-03-24 05:33:20 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： Train
原文链接：https://www.jianshu.com/p/8c0e7edbefb9
版权

The Communication Problem

当将神经网络的训练并行化到许多GPU上时，你必须选择如何将不同的操作分配到你可用的不同GPU上。在这里，我们关注一种称为数据并行随机梯度下降( SGD )的技术。与标准SGD一样，梯度下降是通过数据子集(小批次)完成的，需要多次迭代才能在整个数据集上进行。然而，在数据并行训练中，每个GPU都有整个神经网络模型的完整副本，对于每次迭代，只分配了小批次中样本的子集。对于每次迭代，每个GPU在其数据上运行网络的前向传播，随后进行误差反向传播，以计算损耗相对于网络参数的梯度。最后，GPU相互通信以平均由不同GPU计算的梯度，将平均梯度应用于权重以获得新权重。GPU都在锁定步骤的迭代中前进，一旦GPU完成了迭代，它必须等待所有其他GPU完成它们的迭代，这样权重才能被正确更新。这相当于在单个GPU上执行SGD，但是我们通过在多个GPU之间分发数据并并行执行计算来获得加速。

当你只有两个GPU和以兆字节数据衡量的参数时，这些GPU的通信方式可能并不重要。然而，当你的模型有数十亿个参数时，梯度可能需要几十亿字节的空间(因为每个参数都有一个梯度值)，并且你正在协调几十个GPU，通信机制变得至关重要。

例如，考虑最直接的通信机制。每一个GPU都计算其子集的小批次上的梯度。然后，每个GPU将其梯度发送到单个GPU，该GPU取所有梯度的平均值，并将平均值发送回所有其他GPU。

在直接从单个GPU发送和接收数据的机制中，单个GPU必须从所有GPU接收所有参数，并将所有参数发送到所有GPU。系统中的gpu越多，通信成本就越大。

让我们评估一下这种通信策略如何在真实模型上运行，例如以百度深度语音2 为模型的语音识别网络，具有三亿个可训练参数。 每个参数四个字节的三亿个参数大约是1.2千兆字节的数据。 假设您系统上的网络硬件可以支持每秒1千兆字节的带宽; 在这种情况下，如上所述将系统并行化到两个GPU上将使每次迭代减慢1.2秒。 将您的训练并行化到10个GPU将使每次迭代减慢10.8秒; 随着GPU数量的增长，每次迭代所需的时间呈线性增长。 即使每次迭代花费几秒钟，通信成本的这种线性增长也会使得进一步的并行化变得不切实际并且会降低训练效率。

需要发送的数据越多，发送时间就越长;每个通信通道都有一个最大的吞吐量(带宽)。例如，一个好的internet连接可以提供每秒15兆字节的带宽，而千兆以太网连接可以提供每秒125兆字节的带宽。HPC集群上的专用网络硬件(如Infiniband)可以在节点之间提供每秒数gb的带宽。

另一种选择是放弃训练算法的同步性，并通过梯度下降的迭代消除所有GPU在锁定步骤中前进的限制。然而，虽然这可以使模型更容易并行化，但是消除这种约束的算法(异步SGD的变体)可能很难调试，对于某些模型来说，可能会收敛到子结果，所以我们不考虑这些问题。

相反，我们可以通过使用高性能计算领域的分布式缩减算法并利用带宽优化环来解决通信问题。

The Ring Allreduce

上述简单通信策略的主要问题是，通信成本随系统中gpu的数量线性增长。相比之下，环allreduce算法的通信成本是恒定的，与系统中gpu的数量无关，完全由系统中gpu之间最慢的连接决定;事实上，如果您只考虑带宽作为通信成本的一个因素(并忽略延迟)，那么环allreduce是一种最优通信算法（当您的模型很大，并且您需要发送大量数据的次数很少时，这是一个很好的通信成本估算。）。

环中的gpu都被安排在一个逻辑环中。每个GPU应该有一个左邻和一个右邻;它只会向它的右邻居发送数据，并从它的左邻居接收数据。

该算法分两个步骤进行:首先是scatter-reduce，然后是allgather。在scatter-reduce步骤中，GPU将交换数据，使每个GPU可得到最终结果的一个块。在allgather步骤中，gpu将交换这些块，以便所有gpu得到完整的最终结果。

The Scatter-Reduce

为简单起见，让我们假设目标是对一个浮点数的大数组求和; 系统中有N个GPU，每个GPU都有一个相同大小的数组，并且在allreduce的末尾，每个GPU都应该有一个相同大小的数组，其中包含原始数组中数字的总和。

首先，gpu将数组划分为N个更小的块(其中N是环中的gpu数)。

接下来，GPU将进行N-1次 Scatter-Reduce 迭代；在每次迭代中，GPU将向其右邻居发送一个块，并从其左邻居接收一个块并累积到该块中。每个GPU发送和接收的块在每次迭代中都是不同的；第n个GPU从发送块N和接收块N - 1开始，然后从那里向后进行，每次迭代都发送它在前一次迭代中接收到的块。

例如，在第一次迭代中，上图中的五个GPU将发送和接收以下区块：

Data transfers in the first iteration of scatter-reduce

在第一次发送和接收完成之后，每个GPU将拥有一个块，该块由两个不同GPU上相同块的和组成。例如，第二个GPU上的第一个块将是该块中来自第二个GPU和第一个GPU的值的和。

Itermediate sums after the first iteration of scatter-reduce is complete

在下一次迭代中，该过程继续进行，到最后，每个GPU将有一个块，该块包含所有GPU中该块中所有值的总和。下图展示了所有数据传输和中间结果，从第一次迭代开始，一直持续到Scatter-Reduce完成。

The Allgather

在scatter-reduce步骤完成之后，每个GPU都有一个值数组，其中一些值(每个GPU一个块)是最终的值，其中包括来自所有GPU的贡献。为了完成allreduce, gpu必须交换这些块，以便所有gpu都具有所有必需的值。

环的收集过程与scatter-reduce是相同的(发送和接收的N-1次迭代)，只是gpu接收的值没有累加，而是简单地覆盖块。第n个GPU首先发送第n+1个块并接收第n个块，然后在以后的迭代中总是发送它刚刚接收到的块。

例如，在我们的5 - gpu设置的第一次迭代中，gpu将发送和接收以下块

第一次迭代完成后，每个GPU将拥有最终数组的两个块。

在下一个迭代中，该过程将继续，到最后，每个GPU将拥有整个数组的完整累积值。下面的图像演示了所有数据传输和中间结果，从第一次迭代开始，一直到allgather完成。

Allreduce Communication Cost

回想一下，对于介绍中描述的简单通信算法，通信成本随着GPU的数量线性增长。 allreduce运行良好的主要原因是不再是这种情况。

在我们描述的系统中，N个GPU中的每一个都将发送和接收N-1次scatter-reduce，N-1次allgather。每次，GPU都会发送K / N值，其中K是数组中不同GPU上相加的值总数。因此，传输到每个GPU和从每个GPU传输的数据总量为

重要的是，这与GPU的数量无关。

由于所有传输都是在离散迭代中同步进行的，因此所有传输的速度受到环中相邻GPU之间最慢(最低带宽)连接的限制。给定每个GPU的邻居的正确选择，该算法是带宽最优的，并且是执行全面操作的最快算法(假设延迟成本与带宽相比可以忽略不计)。一般来说，如果一个节点上的所有GPU在环中彼此相邻，则该算法的功能最佳；这最小化了网络争用的量，否则这可能会显著降低GPU-GPU连接的有效带宽。

Applying the Allreduce to Deep Learning

Ring allreduce是高性能计算领域中著名的算法，但在深度学习中很少使用。在我们的实验室中，我们已经成功地将这个工具作为所有数据并行训练的基础，使我们能够有效地将训练扩展到几十个gpu。

为了最小化通信开销，我们可以利用神经网络的结构。在每次迭代中，每个GPU运行正向传播来计算误差，然后运行反向传播来计算神经网络的每个参数的梯度。反向传播计算梯度，从输出层开始，向输入层移动，这意味着输出层参数的梯度在早期层的梯度之前很明显是可用的。因为全部运算可以一次对网络的一部分参数进行运算，所以我们可以在其他梯度仍在计算的时候开始对输出层参数进行全部运算。这样做将通信与反向传播步骤中的其余计算重叠，从而减少了每个GPU等待通信完成的总时间。

例如，考虑一个类似于2的语言模型，但有大约3亿个可学习的参数（因此总梯度大小为1.2千兆字节）。 使用allreduce，每个GPU必须发送和接收大约2.4千兆字节的数据。 使用支持CUDA的MPI实现（例如OpenMPI），我们可以使用GPUDirect RDMA在GPU之间传输数据，带宽大约为每秒10千兆字节; 但是，我们集群中节点之间的连接速度较慢，Infiniband提供的带宽大约为每秒6千兆字节。 由于限制因素是Infiniband连接，因此单次迭代需要大约

由于更深层次的网络首先有可用的梯度，我们可以在完成整个反向传播传递之前开始进行数据传输，因此真正的开销可能小于400毫秒;根据所优化的神经网络的性质，通信和计算之间的重叠可能有所不同。

我们实现了上述语言模型，并测试了每次迭代所花费的时间，因为我们从单个GPU（没有通信开销）扩展到40个GPU。 这40个GPU排列成5个节点，每个节点有8个GPU，由Infiniband连接。 我们运行语言模型300次迭代，批量大小为32，并计算每秒处理的样本数。

正如您所看到的，整个系统的吞吐量随着GPU的数量线性扩展；超过一定的意见后，添加更多的GPU不会导致每次迭代的显著减速。在40个GPU上运行模型每次迭代大约需要650 - 700毫秒，而在单个GPU上大约需要370毫秒。根据我们的估计，通信将花费400毫秒，通过将反向传播与数据传输重叠，我们在每次迭代中节省了额外的70 - 120毫秒。




链接：https://www.jianshu.com/p/8c0e7edbefb9
来源：简书
 

Transformer 基础系04：手把手推导Ring All-reduce的数学性质
u013250861的博客
11-28 1098
在第 1 步中，每个设备都负责某一块 \frac{V}{p} 的数据并向左边的设备发送这块数据，譬如在图 3 中，第 1 个设备负责第 2 片数据并向第 0 个设备发送（也就是第 4 个设备），第 2 个设备负责第 3 片数据并向第 1 个设备发送，第 3 个设备负责第 4 片数据并向第 2 个设备发送，第 4 个设备负责第 1 片数据并向第 3 个设备发送，每个设备收到右边设备的数据后，就把收到的数据累加到本地对应位置的数据上去（通过逐渐变深的颜色表示数据累加的次数更多）。
分布式机器学习网络通信优化技术
fzq0625的博客
06-06 142
设置不同的△T与α的值，优化效果即Tdec与TRing的比值。当某个节点的reduce阶段所用时间显著变长，即该节点为慢节点时，若按照Ring all-reduce过程进行同步，则需要等慢节点多产生的时间，而这多出的时间将直接加在Ring all-reduce原有的时间开销上，影响到Ring all-reduce算法的执行效率。T+△T
分布式训练通信NCCL之Ring-Allreduce详解
张小殊的博客
12-26 1万+
随着Chat GPT、文生图、多模态等模型的发展，海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战，因此，经常需要使用多加速卡和多节点来并行化训练深度神经网络。目前，数据并行和模型并行作为两种在深度神经网络中常用的并行方式，分别针对不同的适用场景，有时也可将两种并行混合使用。数据并行是在不同设备上放置完整的模型，然后将数据划分在每个设备并行计算。
ring all-reduce算法
qq_35985044的博客
04-13 1670
今天介绍一种新的GPU多卡计算的通信优化算法—Ring Allreduce。先来讲一下常规的GPU多卡分布式计算的原理。 第一点：我们知道GPU在矩阵并行化计算方面非常有优势，所以适合深度学习的训练。 第二点：使用多个GPU卡训练同一个深度学习任务就是分布式计算。 第三点：在分布式计算过程中，需要对计算任务资源进行分片，通常的方式是将完整的网络结构放到每一个GPU上，然后将训练数据进行分片分发到不同的GPU卡上。 于是GPU分布式计算的具体形式就比较清晰了，以上图为例。GPU1~4卡负责网络
【大模型】通信元语和相关概念|NCCL梯度|Allreduce|Scatter|Broadcast|Gather
最新发布
bandaoyu的note
03-24 1127
ReduceReduce（归约） 是一种聚合操作，与“拆分”相反，它的核心逻辑是将多个数据元素合并成一个结果。拆分是 Map 的职责，而非 Reduce。Reduce 的“归约”本质是通过迭代合并，逐步缩小数据规模，最终得到全局结果。以下是关键要点：1.定义与功能Reduce通过一个二元操作（如加法、取最大值等）逐步合并数据，最终输出一个单一值。例如：对执行 Reduce（求和），结果为10。2.与 Map 的关系在MapReduce模型中：Map。
NVIDIA NCCL 源码学习（十一）- ring allreduce
KIDGIN7439的专栏
10-20 1万+
之前的章节里我们看到了nccl send/recv通信的过程，本节我们以ring allreduce为例看下集合通信的过程。整体执行流程和send/recv很像，所以对于相似的流程只做简单介绍，主要介绍ring allreduce自己特有内容。
PyTorch训练（四）：Ring-Allreduce【分布式训练模式】
u013250861的博客
06-14 985
当将神经网络的训练并行化到许多GPU上时，你必须选择如何将不同的操作分配到你可用的不同GPU上。在这里，我们关注一种称为数据并行随机梯度下降( SGD )的技术。与标准SGD一样，梯度下降是通过数据子集(小批次)完成的，需要多次迭代才能在整个数据集上进行。然而，在数据并行训练中，每个GPU都有整个神经网络模型的完整副本，对于每次迭代，只分配了小批次中样本的子集。对于每次迭代，每个GPU在其数据上运行网络的前向传播，随后进行误差反向传播，以计算损耗相对于网络参数的梯度。最后，GPU相互通信以平均由不同GPU计
深度学习的高性能计算技术（Horovod 分布式）
yingwei13mei的博客
04-14 3982
深度学习的高性能计算技术 介绍 在过去几年中，神经网络已被证明是解决各种问题的极其有效的工具，并且在规模和计算要求方面迅速增长。 2012年，用于图像识别的超级卷积网络在物体识别方面取得了巨大进步，花了一周时间用两个GPU，拥有6000万个参数。 2016年，研究人员在语言建模方面取得了突破，该网络拥有超过10亿个参数，在32个GPU上训练了三个星期。在百度研究所的硅谷AI实验室内，2014年我们...
【深度学习·命运-77】Ring-AllReduce
m0_69378371的博客
12-11 698
尽管它存在一定的延迟和同步瓶颈，但相比其他传统的 AllReduce 方法，它具有较低的通信开销和更好的扩展性，尤其适合大规模的深度学习和高性能计算任务。其基本过程是：每个节点先将自己的数据（如梯度）传输给其他节点，然后所有节点共同计算并返回每个节点的最终结果。在分布式深度学习中，每个工作节点（worker）在本地计算出自己的梯度后，需要将其与其他工作节点的梯度合并，以便全局更新模型参数。：在训练过程中，Ring-AllReduce 确保了节点之间的负载均衡，因为每个节点参与的通信量和计算量是均等的。
ring-allreduce简介
热门推荐
Brassica_的菜园
05-24 1万+
今天无聊看到了ring-allreduce的gpu通信算法，本来希望在相关网页上看看相关介绍的，但是在baidu research上却搜不到相关的东西，后来看了看baidu-allreduce代码的注释，才明白。这是一个说明起来挺简单的算法，自己打算随便说说。 觉得英文好的可以直接看看GitHub上注释，写的很清晰：https://github.com/baidu-research/baidu-...
[深度学习]Ring All-reduce的数学性质
摩登都市天空---专栏
05-05 6643
图 4 给出了环状 all-gather 的实现过程，我们就不详细描述了，值得注意的是，它的通信时间和通信量的分析与 reduce-scatter 一模一样：整个过程需要的时间是 Vsend / B ，如果p足够大，完成时间近似为V/B，这个时间和设备数p无关，当然，在所有设备间传递的数据量是(p-1)V，和设备数 p 成正比。不过，请注意在 reduce-scatter 里，V 都是完整矩阵的数据量，即 reduce-scatter 输入矩阵的数据量和 all-gather 输出矩阵的数据量。
手把手推导Ring All-reduce的数学性质
OneFlow深度学习框架
04-25 3403
实现高度优化的集群通信，以及根据任务特点和通信拓扑选择合适的集群通信算法至关重要。
大模型训练（3）：数据并行（1）-DP、DDP、All-Reduce
呆呆象呆呆的博客
01-12 1020
在DP中，每个GPU上都拷贝一份完整的模型，每个GPU上处理batch的一部分数据，所有GPU算出来的梯度进行累加后，再传回各GPU用于更新参数DP多采用参数服务器这一编程框架，一般由若个计算Worker和1个梯度聚合Server组成。Server与每个Worker通讯，Worker间并不通讯。因此Server承担了系统所有的通讯压力。基于此DP常用于单机多卡场景。异步梯度更新是提升计算通讯比的一种方法，延迟更新的步数大小决定了模型的收敛速度。
机器学习中计算优化的 Ring AllReduce
rav009的专栏
10-16 749
参考这篇文章： https://blog.csdn.net/dpppBR/article/details/80445569 谈一下我的理解，在GPU的机器学习过程中，传统的做法有类似MapReduce的地方，把数据分成若干个小块，每个小块在一个GPU上训练（Map），然后把训练得到的神经网络参数汇总到一台机器计算参数的平均值（Reduce），最后又会把计算好的参数返还给。 这看起来很合理，但...
GPU高效通信算法-Ring Allreduce
Garvin的专栏
01-10 1万+
今天介绍一种新的GPU多卡计算的通信优化算法—Ring Allreduce。先来讲一下常规的GPU多卡分布式计算的原理。第一点：我们知道GPU在矩阵并行化计算方面非常有优势，所以适合深度学习的训练。第二点：使用多个GPU卡训练同一个深度学习任务就是分布式计算。第三点：在分布式计算过程中，需要对计算任务资源进行分片，通常的方式是将完整的网络结构放到每一个GPU上，然后将训练数据进行分片分发到不同的G
分布式机器学习(ring-allreduce架构)：同步更新
SwankyOrc的博客
11-08 1万+
基本介绍：https://blog.csdn.net/zwqjoy/article/details/81013527 同步训练：   分布式训练系统架构 系统架构层包括两种架构： Parameter Server Architecture（就是常见的PS架构，参数服务器） Ring-allreduce Architecture（ 环，加allreduce算法架构） 1.Para...
【笔记】PyTorch DDP 与 Ring-AllReduce
xfxuezhang.cn
07-30 3726
阅读笔记
【大模型推理】Ring all-reduce
王尚权 qq:2515162716
11-18 1217
正如你所看到的，整个系统的吞吐量随着GPU的数量线性扩展，经过一定的操作后，添加更多的GPU并不会导致每次迭代的显著放缓。环形allgather与散列归约完全相同（有N-1次发送和接收的迭代），except相反的是，GPU们接收到的值，GPU们简单地覆盖块。在接下来的迭代中，该过程继续进行，到最后，每个GPU都会有一个块，其中包含该块在所有GPU上的所有值的和。系统中有N个GPU，每个GPU都有同样大小的数组，最终每个GPU都应该有同样大小的数组，包含原数组中数字的和。
jsp中 input placeholder_Tensorflow中ring all-reduce的实现
weixin_28750369的博客
11-29 159
上一篇文章，给大家介绍了ring all-reduce算法的过程和优点，那如何在Tensorflow代码中实现ring all-reduce呢，现在主要有两种方式：1.Tensorflow estimator接口搭配MultiWorkerMirroredStrategy API使用；2. Tensorflow 搭配 horovod使用。Tensorflow estimator接口搭配MultiWo...
多机多卡分布式训练
03-19
### 多机多卡分布式训练实现方法 在构建多机多卡的分布式训练系统时，通常会涉及多种技术和框架的支持。以下是关于其实现方法、框架支持以及最佳实践的具体说明。 #### 技术选型与框架支持 为了高效地进行多机多卡分布式训练，可以选择一些成熟的开源工具和框架。例如，Uber 开源的 **Horovod** 提供了一种简单的方式来实现深度学习模型的并行训练[^2]。通过 Horovod，开发者能够轻松集成 TensorFlow 或 PyTorch 等主流深度学习框架，并利用其内置的优化算法（如 Ring Allreduce），从而显著提高训练速度。 除了 Horovod，还有其他强大的工具可用于管理复杂的分布式计算场景。比如 Ray 和 VLLM 组合方案，在推理阶段表现出色的同时也适用于部分训练任务；而 Amazon Web Services (AWS) 则提供了专业的技术支持和服务，由经验丰富的工程师团队主导设计大规模机器学习项目[^4]。 #### 配置环境与依赖项安装 无论采用哪种具体的技术栈，都需要先做好前期准备工作——即设置合适的开发环境并加载所需库文件。以 Python 生态为例： 对于基于 Ray 和 VLLM 的解决方案来说，可以通过如下命令快速完成基础组件的引入： ```bash pip install ray vllm ``` 如果计划使用 Horovod，则需额外考虑目标平台所对应的特定版本兼容性问题。一般情况下可通过 pip 工具直接获取最新稳定版程序包： ```bash pip install horovod ``` 值得注意的是，在实际操作过程中可能还会遇到更多个性化需求，因此建议仔细阅读官方文档中的指导手册以便更好地满足业务要求[^1][^2]。 #### 数据处理与模型保存策略 随着训练周期的增长，合理规划数据流管理和定期备份机制变得尤为重要。一方面要确保输入样本能被均匀分配至各个子进程当中去执行前向传播运算；另一方面也要及时记录下当前状态参数以防意外中断造成损失。 在此方面，有文章提到过一种可行做法就是借助对象存储服务（Object Storage Service, OSS）像 MinIO 来存放中间产物或者最终成果物副本[^3]。这样不仅方便后续分析调优工作开展，同时也增强了系统的鲁棒性和可恢复能力。 --- ### 示例代码片段 以下是一段简单的演示代码，展示了如何初始化一个基本的分布式训练流程（假设使用 PyTorch + Horovod）: ```python import torch import horovod.torch as hvd # 初始化 Horovod hvd.init() # 设置随机种子以保证结果一致性 torch.manual_seed(0) if torch.cuda.is_available(): # 将当前设备绑定到本地 GPU 上 torch.cuda.set_device(hvd.local_rank()) model = YourModel() optimizer = torch.optim.SGD(model.parameters(), lr=0.01 * hvd.size()) # 广播初始变量值给所有 worker 节点 hvd.broadcast_parameters(model.state_dict(), root_rank=0) hvd.broadcast_optimizer_state(optimizer, root_rank=0) for epoch in range(num_epochs): train_one_epoch(model, optimizer) ``` 上述脚本主要完成了以下几个核心功能模块的设计：首先是通过 `hvd.init()` 方法启动集群通信网络连接；接着调整硬件资源配置使得每个线程独占一块独立显存区域；最后同步全局权重矩阵及其梯度更新方向等重要信息。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值