Deepseek开源周之四——DualPipe & EPLB

最新推荐文章于 2025-03-24 22:40:18 发布
最新推荐文章于 2025-03-24 22:40:18 发布
阅读量841 收藏 22
点赞数 27
文章标签： 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a2023816/article/details/145952605
版权

Background

公元2025年2月27号，DeepSeek公司开源周第四天，开源了DualPipe和EPLB两项技术。两者的分别是"流水双向并行算法"和"专家并行负载均衡器"，两者的目标其实只有一个，就是提升大模型跨GPU训练的效率。

“不是是什么而是为什么”，为什么模型训练需要跨GPU，显而易见有以下两点原因:

  1. 大模型过大，一个GPU的显存放不下(Deepseek模型本地部署的显存就需要536GB, 而英伟达的A100的显存也只有80GB)
  2. 训练数据过多，单线计算效率太低

所以跨GPU训练就成为必然的趋势，为了充分利用硬件资源，自然会想到并行。从问题出发自然会想到可以将数据集/模型进行拆分之后给到不同的GPU训练，这就自然引入了两种常用的并行方式——数据并行，流水并行。除此之外，基于深度神经网络中基本计算都是可拆解的矩阵乘法的性质，还有模型并行

  1. 数据并行(Data Parallelism, DP): 在不同的GPU上运行同一批数据的不同子集
  2. 流水并行(Pipeline Parallelism, PP): 在不同的GPU上运行模型的不同层
  3. 模型/张量并行(Tensor Parallelism, TP): 包含张量并行，将单个数学运算（如矩阵乘法）拆分到不同的GPU上运行
  4. 专家并行(Expert Parallelism, EP): 基于Moe的特殊策略
  5. 混合并行: 结合上述两个及以上，实际运用中最多也最有效

而Deepseek采用的正是一种混合并行的策略，DualPipe与EPLB则分别是对其中的 数据+流水并行 和 专家并行 做了优化，从而提高了模型的训练效率。

DualPipe

流水并行优化

  1. 无并行 Naive

    • 如前所述，流水并行涉及到将模型的层次(这其实得益于Transformer结构层与层之间相对独立)拆解开，分到多个GPU上进行训练。最简单的版本，就像这样，三个GPU分别负责一个三层模型的每一层，前向传播算完了就交给下一层，然后得到Loss之后在逐层反向传播回来

    在这里插入图片描述

    但显而易见，同一时间中只有一个GPu在干活，大量的计算资源都浪费了(灰色部分)，GPU等待的这部分也被称为气泡或死区

  2. Gpipe

    • 看到这个阶梯图，不难想到CPU的取址-译码-计算-访存-写回，自然就会将一次传入的数据进行划分，变成流水线执行

    在这里插入图片描述

    能明显地看到，气泡的占比小了很多

  3. 1F1B

    • 它的全称即One Forward One Backward，这也是相对于之前的F-then-B来的，即在前向传播没有完的时候便开始一些块的反向传播，具体是算好一个反向一个

在这里插入图片描述

相比于Gpipe，其实气泡并没有减少，但是核心在于GPU需要存储的中间量变少了，因为F-then-B的过程中，每个GPU都需要保留之前所有前向传播的中间量，但是1F1B则可以在反向传播之后就可以把之前的结果释放掉了

  1. PipeDream

    • 与Gpipe的F-then-B + 同步后向更新相比，PipeDream采用了异步后向更新 + 1F1B的策略，同时在反向的气泡中同样继续填充了正向过程
      在这里插入图片描述

  2. DualPipe

    • DualPipe的双向，来自于神经网络与CPU过程中的本质不同，因为Transformer各层结构相同，也就是说将模型倒过来也是一样的运行，所以两端可以同时正反向。简单来说，之前是一个W模型，而现在则在M的基础上叠加了W，从而进一步降低了气泡率

    在这里插入图片描述

    基于Deepseek的结果，相比于1F1B，DualPipe的气泡占比下降了50%

数据并行优化

数据并行，一种经典的方式，是有一个统一的数据派发/收集方，向各个GPU派发数据，然后收集反向传播结果实现更新；而这种方式通讯开销过大，所以更多的模型采用的是All-to-All的数据收发，也就是每个GPU前向反向一轮之后，将更新结果传递给同层的所有GPU。在此基础上，异步的接收和合并也是这里Deepseek采用的方式

所以，这里计算单元就要负责计算和通信两件事，而Deepseek采用了一种比较精妙的结构实现了两者的并行

在这里插入图片描述

注：对于MLP和ATTN两个块的反向计算更新，他拆分成输入更新(绿)和权重更新(蓝)两个部分；DISPATCH和COMBINE是层内通行，PP则是跨层通信(流水并行部分)

EPLB (Expert Parallelism Load Balancer)

专家并行优化

  1. 核心问题：Moe策略中每次会从256个专家中选出8个(许多个token通过矩阵运算同时进行)，但是不同专家的热度不同，如果平均分配的话，会出现忙的忙死，闲的闲死的状态，使得计算资源没能得到充分应用
  2. 解决方法：
    • 最主要的一点，即是根据专家的热度(权重由向专家dispatch的量来决定)，weight高的专家复制多份，相反的则之拷贝一份
    • 除此之外，EPLB还对专家进行了分组，然后分配到具体的GPU硬件设备上，使得每个GPU对应的专家权重基本相同，保证均很效率

TODO

  1. PP 中的异步后向更新
  2. DP 中的分发和合并机制
  3. EP 中的分层结构与weight计算

To be continue…

Thanks

  1. 一次性说清：数据并行、流水并行、模型并行
  2. DeepSeek开源周 Day04：从DualPipe聊聊大模型分布式训练的并行策略
  3. DeepSeek V3 精读(2)-DualPipe
Greener_Pat
关注
DeepSeek发布开源第四弹！双向加速，打破流水线瓶颈【DualPipe】
qq871325148的博客
02-27 1045
DeepSeek DualPipe 是一种创新的 双向流水线并行训练 方案，通过在流水线的两端同时注入微批次，实现前向与反向传播的完全重叠，从而大幅减少流水线空闲时间（Pipeline Bubble）。相较于传统的 1F1B（One-Forward-One-Backward） 和 ZB1P（Zero-Bubble Pipeline） 方法，DualPipe 在计算调度和通信隐藏方面做出了重大改进，使 GPU 计算单元几乎始终处于活跃状态。
DeepSeek开源周第四天：优化并行策略引领AI训练新纪元
llm_way的博客
03-01 602
在DeepSeek开源周（）的璀璨星空中，每一天都如同一颗璀璨的星辰，为AI领域带来了前所未有的光芒与希望。而当我们踏入这一周的第四天，DeepSeek再次以惊人的创新力，将我们的目光聚焦于优化并行策略这一核心领域。今天，DeepSeek推出了两款革命性的工具——DualPipe和EPLB，它们正如同两把利剑，直击大规模AI模型训练的痛点，为开发者们开辟了一条更加高效、快速的训练之路。
DeepSeek开源周，第四天：DualPipe与EPLB
interpromotion的博客
02-27 473
通过分离模态处理与融合计算，优化模型训练和推理效率。其核心思想是将不同模态（如文本、图像）的参数分配到独立计算管道中，结合动态负载均衡技术减少资源浪费。两者均通过工程化手段解决AI落地的实际瓶颈——DualPipe优化硬件利用率，EPLB降低多语言支持门槛，开发者可根据需求单独或组合使用。是两个面向AI工程优化的项目，分别针对多模态模型效率和多语言预训练的标准化问题。，旨在解决多语言模型开发中的碎片化问题。DualPipe是一种面向多模态任务的。是一个标准化多语言预训练框架，提供。
DeepSeek底层揭秘——EPLB
最新发布
Arthur Guo 的专栏
03-24 937
是DeepSeek团队开源的一套针对于大规模并行任务（如分布式AI训练任务）负载均衡问题的弹性、智能、并行调度平台。其设计目的是优化大规模GPU/ CPU集群资源的高效管理、任务实时分配与并发执行，动态地将负载分布到计算节点上，进行高效的计算资源利用率与最优的任务执行性能。与传统网络层负载均衡（如 NGINX、HAProxy）或云原生负载均衡（如 K8s的Ingress）截然不同的是，EPLB关注的是计算资源粒度的负载均衡，尤其注重异构硬件场景（CPU、GPU、TPU、FPGA）资源管理。
【DeepSeek开源周】Day 4：DualPipe & EPLB 学习笔记
蓝海星梦的博客
03-19 2285
DualPipe 是一种创新的双向流水线并行算法。它通过在流水线的两端同时注入微批次，实现了前向和反向传播的完全重叠，从而大幅减少了流水线空闲时间（Pipeline Bubble），显著提高了计算资源的利用率。 EPLB（Expert Parallelism Load Balancer）则是一种专家并行负载均衡算法。通过冗余专家策略和分组限制专家路由，优化了专家并行（EP）中的负载分配，确保不同 GPU 之间的负载均衡，提高训练效率。
DeepSeek开源周 Day04：从DualPipe聊聊大模型分布式训练的并行策略
yanqianglifei的专栏
02-27 1316
今天是DeepSeek开源周的第四天，官方开源了一种新型并行计算优化策略——DualPipe。其实大家阅读过Deepseek-V3技术报告的同学，对这个技术并不陌生。开源地址：https://github.com/deepseek-ai/DualPipe。
DeepSeek-R1模型架构深度解读（五）弄懂DualPipe
2401_85390073的博客
03-08 1021
01本文是深入探讨 DeepSeek-R1 模型架构的第五篇文章。本系列中我们将逐渐揭开DeepSeek系列模型的神秘面纱！在前面几篇博客中，我分别介绍了混合专家模型（MoE）和多头潜在注意力（MLA）。其中MOE结构通过减少每个Token的激活参数，大幅降低了训练成本，例如 DeepSeek-V3-671B 的激活参数数为 37B。MLA 则将 KV 缓存大小减少了 93.3%（与原始多头注意力相比），并将推理速度提高了数倍。
中国团队再破技术壁垒：全球首创算法开源，创始人竟亲自写代码
weixin_44626085的博客
03-04 525
当全球科技巨头还在争夺AI芯片的制高点时，一支中国团队用三行开源代码，掀起了人工智能基础架构的革命。2月27日，深度求索（DeepSeek）在开源周第四弹中，放出了三项改变游戏规则的技术——这些曾在千亿参数大模型训练中经受考验的"工业级武器"，如今正在GitHub上掀起开发者的狂欢。
当大模型训练遇上“双向飙车”：DeepSeek开源周 DualPipe解析指南
weixin_45631123的博客
03-15 1134
在大模型训练中，传统流水线并行因单向数据流和通信延迟的限制，导致GPU利用率不足60%，成为算力瓶颈。DeepSeek团队提出的DualPipe双向流水线架构，通过双向计算流与计算-通信重叠的创新设计，将前向与反向传播拆解为“对称轨道”，使GPU可“边读边写、边算边传”，将流水线空闲时间压缩超50%。结合显存优化技术，其显存占用仅为传统方法的1/8，GPU利用率提升至92%，单epoch训练时间缩短30%，通信开销降低80%。
DeepSeek开源Day4：DualPipe&EPLB技术详解
weixin_43102784的博客
03-06 1470
DualPipe 的设计目标是最大化集群设备的计算性能，通过在前向传播（Forward）和后向传播（Backward）阶段实现计算与通信的完全重叠，显著减少传统流水线并行中的 “气泡”（Pipeline Bubble，即空闲等待时间）。这种方法在保持计算通信比例恒定的情况下，即使模型规模进一步扩大，也能维持接近零的通信开销。为保证 MoE 部分不同专家之间的负载均衡，会将共享专家和高负载的细粒度专家在集群的不同 GPU 做多个复制，让 GPU 把更多的热数据（发给共享专家的）跑起来。
把大模型的门槛打下来，DeepSeek-V3论文学习
Together_CZ的博客
12-30 2594
把大模型的门槛打下来，DeepSeek-V3论文学习
深入了解Deepseek模型的最佳三篇论文
yanqianglifei的专栏
02-08 1367
论文提出DeepSeek-R1系列模型，利用强化学习提升LLMs推理能力。通过多阶段训练、奖励建模、知识蒸馏等手段，提升推理能力，并在多个基准测试中验证有效性。此外，论文开源模型和相关工具，支持研究社区进一步探索和改进。
猜想DeepSeek V3 infra中DualPipe的构造以及落地难度
AIBigModel的博客
02-13 1118
作者：Reku原文：https://zhuanlan.zhihu.com/p/21525151726DualPipe是DeepSeek V3里面infra部分的重头戏，既能减少bubble还能做到通信掩盖，整个编排方式看起来神乎其技。而且对于一些国产芯片复现DeepSeek V3（FP8很难用起来、也没法用SM去控制网卡），DualPipe几乎是论文里面infra部分唯一能参考的优化点。我用我半吊子的大模型并行知识，猜想一下这个东西是怎么构造出来的，以及落地上可能遇到的难度。
DeepSeek V3：AI领域的全新突破，性能与效率双重飞跃
OpenCSG的博客
02-07 894
这一方法不仅提高了推理效率，使得每秒生成的token数量（TPS）大幅提升，从20 TPS跃升至60 TPS，还改善了模型在生成后续token时的全局视野，使得生成的文本更加流畅和连贯。，通过设计专用的通信内核，结合MoE路由算法，充分利用了InfiniBand和NVLink的带宽，实现了通信和计算的完全重叠。每个训练步骤后，模型会根据各专家的负载情况，自动调整偏置项，使得负载较高的专家减少激活次数，而负载较低的专家则增加激活，从而保证了各个专家的平衡激活。则在V2的基础上实现了真正的技术突破，尤其在。
DeepSeek发布开源第四弹！用‘复制术’让专家负载均衡的艺术【EPLB】
qq871325148的博客
02-27 720
EPLB（Expert Parallelism Load Balancer）是一种专为 Mixture-of-Experts (MoE) 模型设计的负载均衡算法，旨在优化专家的复制与分布策略，以最大化 GPU 计算效率并减少跨节点通信。其核心创新点包括 “冗余专家” 复制机制，通过动态增加高负载专家的副本来均衡计算资源，并采用 “分层负载均衡”（Hierarchical Load Balancing）策略，使专家分组优先匹配计算节点，减少通信开销。
为什么低成本？深度拆解 DeepSeek-V3的训练之道
bagell的博客
02-05 2409
DeepSeek-V3 以极低的成本（约 550 万美金）实现了与 Claude 3.5 等顶尖模型相媲美甚至更优的性能，并且选择了开源的道路，为全球的研究者和开发者带来了巨大的惊喜。那么，DeepSeek-V3 是如何炼成的呢？今天，我们就深入拆解其训练过程。
AI新顶流-DeepSeek 技术大揭秘
u013206206的博客
02-10 581
DeepSeek无疑是这个春节档AI圈的顶流，2024年12月发布DeepSeek-V3作为全国产自研模型，以其高性能，低价格火爆AI领域。
对DeepSeek中Infra中DualPipe的一些想法
AIBigModel的博客
02-25 578
DualPipe 是 DeepSeek V3里面infra部分的重头戏，既能减少bubble还能做到通信掩盖，整个编排方式看起来神乎其技。而且对于一些国产芯片复现DeepSeek V3（FP8很难用起来、也没法用SM去控制网卡），DualPipe几乎是论文里面infra部分唯一能参考的优化点。我用我半吊子的大模型并行知识，猜想一下这个东西是怎么构造出来的，以及落地上可能遇到的难度。
deepSeek开源
02-27
### deepSeek 开源项目概述 deepSeek 是专注于自然语言处理(NLP)领域的一个重要开源项目集合，在GitHub上拥有活跃的社区支持和发展[^1]。通过探索这些资源，可以深入了解该项目的技术细节及其应用范围。 #### 排名前列的 deepSeek 相关开源项目 在 GitHub 上搜索关键词 "DeepSeek" 可发现多个关联仓库，其中排名最靠前的是由深度求索官方维护的核心库——`DeepSeek-R1`，其提供了先进的NLP模型和服务接口实现[^3]。此项目不仅限于理论研究，还致力于推动实际场景中的技术落地。 此外，还有其他四个值得注意的相关项目： 1. **DeepSeek-NLP**: 提供了一系列针对中文优化的语言理解工具包； 2. **DeepSeek-Tools**: 收集并封装了一些实用的数据预处理脚本以及评估指标函数； 3. **DeepSeek-Docs**: 官方文档站点，包含了详细的安装指南、API说明等内容； 4. **DeepSeek-Benchmarks**: 对比测试不同框架下相同任务的表现情况，帮助开发者做出更优选择。 #### 获取更多信息 为了获取更多关于 `deepSeek` 的资料和技术支持，建议访问 Hugging Face Model Hub 或查阅 PyTorch 官方文档来补充学习[^2]。同时也可以关注官方 GitHub 仓库动态，参与讨论交流，共同促进 NLP 技术的发展进步。 ```python import requests def get_repo_info(repo_name): url = f"https://api.github.com/repos/{repo_name}" response = requests.get(url) data = response.json() print(f"Repository Name: {data['name']}") print(f"Description: {data['description']}") print(f"Stars: {data['stargazers_count']}") get_repo_info('deepseek-ai/DeepSeek-R1') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值