ring-allreduce简介

最新推荐文章于 2025-03-13 00:58:09 发布
最新推荐文章于 2025-03-13 00:58:09 发布
阅读量1.4w 收藏 46
点赞数 18
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dpppBR/article/details/80445569
版权
Ring-AllReduce是一种用于多GPU并行训练的高效通信算法。它通过取消Reducer节点，使数据在GPU组成的环形网络中流动，显著减少了通信时间。算法分为两步：scatter-reduce和allgather，通过多次数据交换实现所有GPU之间的数据同步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天无聊看到了ring-allreduce的gpu通信算法，本来希望在相关网页上看看相关介绍的，但是在baidu research上却搜不到相关的东西，后来看了看baidu-allreduce代码的注释，才明白。这是一个说明起来挺简单的算法，自己打算随便说说。

觉得英文好的可以直接看看GitHub上注释，写的很清晰：https://github.com/baidu-research/baidu-allreduce/blob/master/collectives.cu#L156

如无特殊说明，本博客的图片都来自于知乎上的一个回答，主要原因是baidu research上找不到这篇文章，所以相关的图例只在这个知乎回答里找到了

一般的多卡gpu训练有一个很大的缺陷，就是因为每次都需要一个gpu从其他gpu上收集训练的梯度，然后将新的模型分发到其他gpu上。如下图：
这里写图片描述

这样的模型最大的缺陷是gpu 0的通信时间是随着gpu卡数的增长而线性增长的。所以就有了ring-allreduce，如下图：
这里写图片描述

该算法的基本思想是取消Reducer，让数据在gpu形成的环内流动，整个ring-allreduce的过程分为两大步，第一步是scatter-reduce，第二步是allgather。

先说第一步：首先我们有n块gpu，那么我们把每个gpu上的数据（均等的）划分成n块，并给每个gpu指定它的左右邻居（图中0号gpu的左邻居是4号，右邻居是1号，1号gpu的左邻居是0号，右邻居是2号……），然后开始执行n-1次操作，在第i次操作时，gpu j会将自己的第(j - i)%n块数据发送给gpu j+1，并接受gpu j-1的(j - i - 1)%n块数据。并将接受来的数据进行reduce操作，示意图如下：
这里写图片描述

当n-1次操作完成后，ring-allreduce的第一大步scatter-reduce就已经完成了，此时，第i块gpu的第(i + 1) % n块数据已经收集到了所有n块gpu的第(i + 1) % n块数据，那么，再进行一次allgather就可以完成算法了。

第二步allgather做的事情很简单，就是通过n-1次传递，把第i块gpu的第(i + 1) % n块数据传递给其他gpu，同样也是在i次传递时，gpu j把自己的第(j - i - 1)%n块数据发送给右邻居，接受左邻居的第(j - i - 2) % n数据，但是接受来的数据不需要像第一步那样做reduce，而是直接用接受来的数据代替自己的数据就好了。

最后每个gpu的数据就变成了这样：
这里写图片描述

如果觉得不懂的话，我们举一个3gpu的例子：
首先是第一步，scatter-reduce：
这里写图片描述

然后是allgather的例子：
这里写图片描述

reference:
https://github.com/baidu-research/baidu-allreduce
https://www.zhihu.com/question/57799212/answer/292494636?utm_source=ZHShareTargetIDMore&utm_medium=social&utm_oi=37729630945280

Transformer 基础系04：手把手推导Ring All-reduce的数学性质
u013250861的博客
11-28 1098
在第 1 步中，每个设备都负责某一块 \frac{V}{p} 的数据并向左边的设备发送这块数据，譬如在图 3 中，第 1 个设备负责第 2 片数据并向第 0 个设备发送（也就是第 4 个设备），第 2 个设备负责第 3 片数据并向第 1 个设备发送，第 3 个设备负责第 4 片数据并向第 2 个设备发送，第 4 个设备负责第 1 片数据并向第 3 个设备发送，每个设备收到右边设备的数据后，就把收到的数据累加到本地对应位置的数据上去（通过逐渐变深的颜色表示数据累加的次数更多）。
大模型训练（3）：数据并行（1）-DP、DDP、All-Reduce
呆呆象呆呆的博客
01-12 1020
在DP中，每个GPU上都拷贝一份完整的模型，每个GPU上处理batch的一部分数据，所有GPU算出来的梯度进行累加后，再传回各GPU用于更新参数DP多采用参数服务器这一编程框架，一般由若个计算Worker和1个梯度聚合Server组成。Server与每个Worker通讯，Worker间并不通讯。因此Server承担了系统所有的通讯压力。基于此DP常用于单机多卡场景。异步梯度更新是提升计算通讯比的一种方法，延迟更新的步数大小决定了模型的收敛速度。
通信优化核心技术：Ring AllReduce与NCCL协议的剖析
weixin_69882801的博客
02-14 931
在大规模分布式训练中，通信优化是提升训练效率的核心。基于硅光子的新型互连技术理论带宽可达10TB/s，延迟降低至纳秒级。在4096 GPU集群中，相比传统Ring算法时延降低63%。时，传统通信协议（如MPI）的通信时间占比可达70%以上。对于Ring AllReduce，每个分块需要。实验表明可节省50%通信带宽，精度损失可忽略。时，带宽利用率趋近于理论最大值。
PyTorch训练（四）：Ring-Allreduce【分布式训练模式】
u013250861的博客
06-14 985
当将神经网络的训练并行化到许多GPU上时，你必须选择如何将不同的操作分配到你可用的不同GPU上。在这里，我们关注一种称为数据并行随机梯度下降( SGD )的技术。与标准SGD一样，梯度下降是通过数据子集(小批次)完成的，需要多次迭代才能在整个数据集上进行。然而，在数据并行训练中，每个GPU都有整个神经网络模型的完整副本，对于每次迭代，只分配了小批次中样本的子集。对于每次迭代，每个GPU在其数据上运行网络的前向传播，随后进行误差反向传播，以计算损耗相对于网络参数的梯度。最后，GPU相互通信以平均由不同GPU计
【微知】NVIDIA GPU间通信库NCCL集合通信库的一些基础信息？5种操作？什么是reduce？
技术札记
03-13 836
在 k 个等级之间的 sum allreduce作中，每个等级将提供一个包含 N 个值的数组，并在 N 个值的数组中接收相同的结果，其中 out[i] = in0[i]+in1[i]+…+in（k-1）[i]Reduce作执行与 AllReduce 相同的操作（操作是跨设备对数据（例如 sum、min、max）执行归约），但仅将结果存储在指定根排名的接收缓冲区中。ReduceScatter作执行与 Reduce 相同的作，不同之处在于结果分散在等级之间大小相等的块中，每个等级根据其等级索引获取一个数据块。
深度学习的高性能计算技术（Horovod 分布式）
yingwei13mei的博客
04-14 3982
深度学习的高性能计算技术 介绍 在过去几年中，神经网络已被证明是解决各种问题的极其有效的工具，并且在规模和计算要求方面迅速增长。 2012年，用于图像识别的超级卷积网络在物体识别方面取得了巨大进步，花了一周时间用两个GPU，拥有6000万个参数。 2016年，研究人员在语言建模方面取得了突破，该网络拥有超过10亿个参数，在32个GPU上训练了三个星期。在百度研究所的硅谷AI实验室内，2014年我们...
【深度学习·命运-77】Ring-AllReduce
m0_69378371的博客
12-11 697
尽管它存在一定的延迟和同步瓶颈，但相比其他传统的 AllReduce 方法，它具有较低的通信开销和更好的扩展性，尤其适合大规模的深度学习和高性能计算任务。其基本过程是：每个节点先将自己的数据（如梯度）传输给其他节点，然后所有节点共同计算并返回每个节点的最终结果。在分布式深度学习中，每个工作节点（worker）在本地计算出自己的梯度后，需要将其与其他工作节点的梯度合并，以便全局更新模型参数。：在训练过程中，Ring-AllReduce 确保了节点之间的负载均衡，因为每个节点参与的通信量和计算量是均等的。
分布式训练通信NCCL之Ring-Allreduce详解
热门推荐
张小殊的博客
12-26 1万+
随着Chat GPT、文生图、多模态等模型的发展，海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战，因此，经常需要使用多加速卡和多节点来并行化训练深度神经网络。目前，数据并行和模型并行作为两种在深度神经网络中常用的并行方式，分别针对不同的适用场景，有时也可将两种并行混合使用。数据并行是在不同设备上放置完整的模型，然后将数据划分在每个设备并行计算。
Ring Allreduce
bbbeoy的专栏
05-13 1265
The Communication Problem 当将神经网络的训练并行化到许多GPU上时，你必须选择如何将不同的操作分配到你可用的不同GPU上。在这里，我们关注一种称为数据并行随机梯度下降( SGD )的技术。与标准SGD一样，梯度下降是通过数据子集(小批次)完成的，需要多次迭代才能在整个数据集上进行。然而，在数据并行训练中，每个GPU都有整个神经网络模型的完整副本，对于每次迭代，只分配了小批次中样本的子集。对于每次迭代，每个GPU在其数据上运行网络的前向传播，随后进行误差反向传播，以计算损耗相对于网
手把手推导Ring All-reduce的数学性质
OneFlow深度学习框架
04-25 3403
实现高度优化的集群通信，以及根据任务特点和通信拓扑选择合适的集群通信算法至关重要。
A new way of Tree-All-Reduce （Mixed-Tree-All-Reduce）
xuke_2018的博客
05-20 500
1 Ring All Reduce 详见：https://blog.csdn.net/gaofeipaopaotang/article/details/94028949 https://blog.csdn.net/dpppBR/article/details/80445569中的Ring-All-Reduce介绍 2 Tree All Reduce 详见...
ring all-reduce算法
qq_35985044的博客
04-13 1670
今天介绍一种新的GPU多卡计算的通信优化算法—Ring Allreduce。先来讲一下常规的GPU多卡分布式计算的原理。 第一点：我们知道GPU在矩阵并行化计算方面非常有优势，所以适合深度学习的训练。 第二点：使用多个GPU卡训练同一个深度学习任务就是分布式计算。 第三点：在分布式计算过程中，需要对计算任务资源进行分片，通常的方式是将完整的网络结构放到每一个GPU上，然后将训练数据进行分片分发到不同的GPU卡上。 于是GPU分布式计算的具体形式就比较清晰了，以上图为例。GPU1~4卡负责网络
[深度学习]Ring All-reduce的数学性质
摩登都市天空---专栏
05-05 6643
图 4 给出了环状 all-gather 的实现过程，我们就不详细描述了，值得注意的是，它的通信时间和通信量的分析与 reduce-scatter 一模一样：整个过程需要的时间是 Vsend / B ，如果p足够大，完成时间近似为V/B，这个时间和设备数p无关，当然，在所有设备间传递的数据量是(p-1)V，和设备数 p 成正比。不过，请注意在 reduce-scatter 里，V 都是完整矩阵的数据量，即 reduce-scatter 输入矩阵的数据量和 all-gather 输出矩阵的数据量。
分布式机器学习(ring-allreduce架构)：同步更新
SwankyOrc的博客
11-08 1万+
基本介绍：https://blog.csdn.net/zwqjoy/article/details/81013527 同步训练：   分布式训练系统架构 系统架构层包括两种架构： Parameter Server Architecture（就是常见的PS架构，参数服务器） Ring-allreduce Architecture（ 环，加allreduce算法架构） 1.Para...
【大模型推理】Ring all-reduce
王尚权 qq:2515162716
11-18 1217
正如你所看到的，整个系统的吞吐量随着GPU的数量线性扩展，经过一定的操作后，添加更多的GPU并不会导致每次迭代的显著放缓。环形allgather与散列归约完全相同（有N-1次发送和接收的迭代），except相反的是，GPU们接收到的值，GPU们简单地覆盖块。在接下来的迭代中，该过程继续进行，到最后，每个GPU都会有一个块，其中包含该块在所有GPU上的所有值的和。系统中有N个GPU，每个GPU都有同样大小的数组，最终每个GPU都应该有同样大小的数组，包含原数组中数字的和。
机器学习中计算优化的 Ring AllReduce
rav009的专栏
10-16 749
参考这篇文章： https://blog.csdn.net/dpppBR/article/details/80445569 谈一下我的理解，在GPU的机器学习过程中，传统的做法有类似MapReduce的地方，把数据分成若干个小块，每个小块在一个GPU上训练（Map），然后把训练得到的神经网络参数汇总到一台机器计算参数的平均值（Reduce），最后又会把计算好的参数返还给。 这看起来很合理，但...
NVIDIA NCCL 源码学习（十一）- ring allreduce
KIDGIN7439的专栏
10-20 1万+
之前的章节里我们看到了nccl send/recv通信的过程，本节我们以ring allreduce为例看下集合通信的过程。整体执行流程和send/recv很像，所以对于相似的流程只做简单介绍，主要介绍ring allreduce自己特有内容。
【笔记】PyTorch DDP 与 Ring-AllReduce
xfxuezhang.cn
07-30 3726
阅读笔记
RingAllReduce的原理及其代码
qq_42885181的博客
12-11 1487
本文介绍了RingAllReduce的概念，以及其在数据并行训练中的应用，并通过一段代码介绍其具体步骤
ollama多卡运行模型
最新发布
04-03
<think>好的，我现在需要回答用户关于如何在多张显卡上配置Ollama模型进行多GPU分布式训练的问题。首先，我需要回忆一下用户提供的引用内容，看看是否有相关的信息。 引用[2]提到，Ollama本身可能没有直接的多GPU支持，可能需要通过PyTorch或TensorFlow来配置。以PyTorch为例，可以使用`DataParallel`或`DistributedDataParallel`。同时，引用[3]和[4]讨论了分布式训练的策略，比如数据并行和模型并行，以及Ring AllReduce的通信机制。 接下来，我需要将这些信息整合成一个步骤指南。首先，用户需要确认Ollama和模型的兼容性，然后安装必要的依赖库。之后，选择分布式策略，比如数据并行或模型并行。对于数据并行，可以按照PyTorch的方法进行配置，比如使用`DistributedDataParallel`。此外，还要考虑通信优化，如引用[4]提到的Ring AllReduce。最后，测试和监控训练过程，确保资源有效利用。 需要注意的是，Ollama可能默认不支持多GPU，所以可能需要修改代码或使用深度学习框架的API。另外，用户需要确保硬件环境正确，比如多显卡驱动安装和CUDA版本兼容性。可能还需要提到分布式训练中的常见问题，比如负载均衡和通信开销，以及如何通过缓存机制优化，如引用[1]中的注意力机制缓存。 最后，生成相关问题，帮助用户进一步了解分布式训练的其他方面，比如性能调优或通信机制。整个回答需要结构清晰，分步骤说明，并引用提供的资料来支持每个步骤。</think>以下是如何在多张显卡上配置Ollama模型进行多GPU分布式训练的详细方法，结合分布式训练原理和工具特性实现： ### 一、环境准备 1. **硬件兼容性验证** - 确保所有GPU型号统一（如NVIDIA RTX 3090/4090） - 检查`nvidia-smi`输出中所有GPU状态正常 - 验证NVLink/SLI桥接状态（若使用多卡互联） 2. **软件依赖安装** ```bash # 安装PyTorch与CUDA工具包 conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia # 安装NCCL通信库 apt install libnccl2 libnccl-dev ``` ### 二、分布式训练配置（以PyTorch为例） 1. **数据并行配置模板** ```python import torch from torch.nn.parallel import DistributedDataParallel as DDP def setup(rank, world_size): os.environ['MASTER_ADDR'] = 'localhost' os.environ['MASTER_PORT'] = '12355' dist.init_process_group("nccl", rank=rank, world_size=world_size) def train(rank, world_size): setup(rank, world_size) model = OllamaModel().to(rank) ddp_model = DDP(model, device_ids=[rank]) optimizer = torch.optim.Adam(ddp_model.parameters()) # 数据分片加载 train_loader = DataLoader(dataset, sampler=DistributedSampler(...)) for batch in train_loader: outputs = ddp_model(batch) loss = criterion(outputs) loss.backward() optimizer.step() ``` 2. **启动命令** ```bash # 使用4张GPU启动训练 torchrun --nproc_per_node=4 --nnodes=1 train_script.py ``` ### 三、通信优化策略 1. **Ring AllReduce配置** ```python # 在PyTorch中自动启用NCCL后端 torch.distributed.init_process_group(backend='nccl') ``` 2. **梯度压缩技术**（减少通信量） ```python from torch.distributed.algorithms.ddp_comm_hooks import default_hooks ddp_model.register_comm_hook(state=None, hook=default_hooks.fp16_compress_hook) ``` ### 四、性能监控与调优 1. **带宽利用率检测** ```bash nvidia-smi dmon -s pucvmet ``` 2. **负载均衡验证** ```python # 检查各GPU显存占用差异 torch.cuda.memory_allocated(device_id) ``` ### 五、高级配置项 1. **混合精度训练** ```python scaler = torch.cuda.amp.GradScaler() with torch.autocast(device_type='cuda', dtype=torch.float16): outputs = model(inputs) loss = criterion(outputs) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` 2. **模型并行实现**（当单卡无法容纳模型时） ```python class ParallelModel(nn.Module): def __init__(self): super().__init__() self.layer1 = nn.Linear(1024, 2048).to('cuda:0') self.layer2 = nn.Linear(2048, 1024).to('cuda:1') def forward(self, x): x = self.layer1(x.to('cuda:0')) x = self.layer2(x.to('cuda:1')) return x ``` ### § 常见问题解决方案 1. **GPU显存不均** - 使用`torch.cuda.empty_cache()`及时释放缓存 - 调整`batch_size`使$bs=N_{gpu} \times bs_{base}$ 2. **通信延迟过高** - 启用梯度累积：每$k$个batch更新一次参数 $$ \theta_{t+1} = \theta_t - \eta \cdot \frac{1}{k}\sum_{i=1}^k g_i $$ [^1]: 异步推理和缓存机制可提升多GPU协同效率 [^2]: PyTorch的分布式接口是实现多GPU训练的关键 [^4]: Ring AllReduce算法可将带宽利用率提升至理论最优的1.5倍 §§ 1. 如何验证分布式训练中梯度同步的正确性？ 2. 多节点训练与单节点多GPU训练有何配置差异？ 3. 如何选择数据并行与模型并行的混合策略？ 4. 分布式训练中怎样处理不同GPU的计算能力差异？
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值