LLM infra中的一些基本概念：PP、TP、DP、ZeRO

于 2025-03-27 09:07:37 发布
阅读量1.2k 收藏 30
点赞数 29
分类专栏： 大模型 文章标签： LLM Infra
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37733448/article/details/146547746
版权

1. 背景介绍

目前大模型的时代已经如火如荼了， 模型越做越大，但是目前主流的训练推理卡确实一直刀来刀去没什么长进， 说的就是你NVIDIA。

由于众所周知的原因， 老黄的卡一直显存都不大， 贴一下主流显存，在消费级，也就是买的最多，“普通人”最能affordable的price， 3090和4090都是24G， 跑一个大一点的LLM推理都得考虑下要做几Bit量化，而稍微大点的A100, H100, H200呢， 也没大多少，40G, 80G, .... 。

在模型推理和训练的两个过程中， 显存的需求是不一样的， 其中在训练的过程要把梯度， 优化器参数这些也放到显存上， 所需要的显存也比推理时大一些了。

但是现在动辄几十B，几百B的大模型，光想用单卡训练， 甚至于推理都不太可能了， 当然也有Lora， 量化这样的策略， 不过都是以损失性能作为compromise的。那么避无可避的， 肯定会设置并行这个问题， 或许很多场景你都听说过Tensor parallel， pipeline parallel这些词， 但是很多博客的质量都难以恭维， 很多都模棱两可。这里我尽量说出自己的理解。

为了对说的东西有一个basic understanding， 简单说一下他们的特点， 在后面的section中在具体介绍：

  • • Pipeline parallel(PP): 将一个模型分成不同layer, 不同的layer在不同的gpu上

  • • Data parallel(DP): 并行处理dataloader里面的batch， 分为Distributed Data parallel(DDP), DP, ZeRO(Zero redundancy Optimizer)

  • • Tensor Parallel(TP): 把一个矩阵乘法分块计算

在下面的文章里面， 默认情况我都用简写代表了， 不做special case说明的情况下。

2. PP

这里还是以一个最简单的case分析， 假设一个GPT模型（这里指的是GP2里面实现的GPT模型）， 假设其存在8层transformer layer，我们要用PP把其运行在（可能运行这个词不太appropriate）两个GPU上（后文中， GPU默认id从0开始， 也就是GPU0和GPU1）。

根据最基础的PP， 我们直接把前四个layer放在GPU0上，后面四个放在GPU1上：

图片

 

这里以一个batch来分析，那么在一次forward的情况下，一个batch首先通过0-3层，进行正常的forward计算，这个和在单卡上一模一样， 此时GPU1是idle状态， 然后输出结果给GPU1上的4-7进行计算， 此时GPU0 idle， 最后算完了后返回输出值到layer0计算loss或者传递label到layer7计算loss。不难看出，除了能够放下更大的模型以外，这种被称为Naive Model Parallelism (MP)的方法基本和在单卡上跑性能没有区别， 甚至性能会因为data在不同gpu上的传递导致overhead。

图片

 

那么此时就有一个问题了，在使用MP的时候， 其中一张卡计算的时候，其他卡都是idle状态， 我们怎么减少idle呢， 对了，在计组里面学过的， 流水线。在PP里面， 一种优化的方式就是把一个batch划分成更小的batch， 这里叫做micro-batch， 而划分多少个，这个参数叫做PP里面的chunks。

参考GPipe paper[6]的实现， 和下图所示， 这里有四个GPU， 模型被成拆成了四块，每个GPU一块， 其中F代表forward，B代表backward。GPU0 在处理第 0、1、2 和 3 个块（F0,0, F0,1, F0,2, F0,3）时执行相同的前向路径，然后等待其他 GPU 完成它们的工作。只有当其他 GPU 开始完成它们的工作时，GPU0 才会继续进行反向传播路径，顺序为块 3、2、1 和 0（B0,3, B0,2, B0,1, B0,0）。

整个过程中有段空闲时间， 就是F3和B3，这是因为最后一个forward必须等待backward完成才能继续进行。

图片

 

通过这样的优化， 可以减少idle时间(bubble)，这就是PP的主要思路， 进一步可以查看deepseed里面实现：Pipeline Parallelism - DeepSpeed[7]

3. DP

DP主要分为DDP, DP还有ZeRO DP, DP就是主要和数据相关了。DP最初需要解决的问题是， 对于一个dataloader， 我们一般在一张卡训练一个模型， 这是很universal的case，但是如果我们一个模型在一张卡上可以训练，这完全OK，但是如果我们机器上有多张卡，我们希望以不同的batch同时并行迭代这个dataloader然后同时训练模型， 当训练某个epoch完成后再同步loss更新模型， 这就是DP需要解决的问题， 其中这三种实现主要的不同就是数据和数据和模型的复制方式。

还是用最简单的情况来说明， 一个模型在一张卡上可以训练， 假设我们现在有四张卡，其中DDP是在开始， 我们把模型复制四份， 每个卡上放一份， 然后以不同的遍历顺序并行获取Dataloader的batch(其实也可以是获取一个大的batch然后拆分成mini batch分配），当所有卡的模型copy都完成自己对应的minibatch的forward的时候， 我们把每个卡的loss平均求和（这里也可以用accumulate grad进行大batch训练），使用average grad进行反向传播。然后更新模型， 在这个DPP里面， 每个模型的对于其mini batch的数据的consume都是并行的。

图片

 

还是使用上面的例子， 对于DP呢， 首先是GPU0 获取整个batch的数据然后把mini batch 分发到其他的GPU上， 然后当前的模型从GPU0上复制到其他的卡上， 在forward后，其他卡的输出结果都reduce到GPU0上计算loss， 计算完loss后再分发到其他GPU上分别计算梯度， 计算完梯度后再reduce到GPU0上进行反向传播，相比DDP， DP在整个计算过程中GPU0和其他卡的通信较多， 整体上慢于DDP。对比上面的DPP的图不难想象DP的过程，这里我就不画了。

而对于ZeRO DP呢， 在上面的情况里面， 我们假设一张卡可以训练一个模型，使用DP or DDP都是希望并行consume数据集做到多卡并行加速， 而使用ZeRO DP的case来说， 更希望解决的问题还是比如说一个卡放不下整个模型， 而是只能放一个模型的一部分情况， 按照HF所说的， 就是每个卡只是存储模型参数， 权重，以及优化器的一部分。

还是以模型为例， 假设有一个三层transformer layer的一个模型， 其包含三组参数a, b, c， 我们把三层中的a参数(a0, a1, a2)放在GPU0 上， b放在GPU1上以此类推。同样的，这里输入采用前面的DPP来说明， 并行consume一个batch里面多个mini batch， 以mini batch0为例，当其开始forward的时候， 也就是来到layer0的时候， 在GPU0上进行处理，但是GPU0上只有a0， 还需要b0和c0

此时GPU0从GPU1和GPU2上获取b0和c0然后进行计算， 对于mini batch1就是在GPU1上获取来自GPU0的a0和GPU2的c0， 对于mini batch2也是一样的，这几个minibatch也都是并行的

当完成第1层的计算后，来到第二层操作依旧类似， 通过把模型同一层的参数存储到不同卡上，然后在forward计算的时候从其他的GPU获取其他的参数，这就是ZeRO的一种DP方式，其实有点类似TP的一种slice方式。

图片

 

4. TP

好的， 终于写到Tensor Parallel(TF)， 我想这不会是博文的终结，抑或是LLM 相关的终结， 最近有点忙于工作的事情了。

TP的思路很简单也很trivial， 是基于朴素的线性代数的优化， 也就是线性代数里面的分块矩阵， 如果学过线性代数应该很了解这个部分， 遗忘了也没关系， 下图是我从NV的megatron摘的一个图片， 按照下面的所示，TF有两种一种是Column paralle, 另一种是Row parallel, 两者不同就是切分的方式， 第一种按照column进行切分，分别计算被column切分的两个分块矩阵的乘法， 然后把结果concatenate起来， 第二种就是按row切分， 里面是利用了分块矩阵的一个公式， 具体分块矩阵的计算可以参考博文4.3 矩阵分块运算｜《线性代数》 - 知乎[8]。在目前大火的开源模型llama3以及deepseek3中都有使用这两种TP， 具体可以查看对应github的model.py。

已经理解他的原理，他的用途也就很明显了， 在transformer的计算过程中，主要有Q,K,V的投影以及Attention计算的两个矩阵乘法， 我们可以把其中的输入的tensor X以及权重都采用TF的方法来存储， 依靠和上面类似的gather以及reduce的方法在不同的GPU之间传递所需要的数据， 最后进行concatenate或者是相加得到最后的结果，这样的话， 可以减少单卡的负载了。

图片

 

5. 组合

其实在实际使用的过程中，TP, PP, DP 都不是单一使用的， 是可以两两或者三者一起组合的。下面以两种case为例分析：

1.DP + PP

在进行分布式推理或者分布式训练的时候，对于不同batch数据，比如说两个， 这里叫做DP rank0 以及DP rank1的数据， 然后其中模型可以放在两个卡上（采用PP）， 一共四张卡， 放置两个模型。如下图所示. 两个并行的DP可以同时forward通过PP在两张卡上的模型。

图片

 

2. DP + PP + TP

当我们把这三者组合在一起就是一个3D的parallel了， 所以MS也把其称为3D parallel， 下图（图来自MS的DS)中有32个GPU， 8个node（也就是八个节点服务， 每个节点上插4张卡）， 其中把一个模型通过PP分成了四个部分， 每个部分的权重通过前面介绍的ZeRO存储在不同的卡上。

图片

 

图片

 

至此应该算是介绍完了， 如果后面有什么想写的内容再写吧， 比如说ZeRO的不同stage， 有什么区别以及具体是什么样的（面试常考题），以及如何hands on的实现这些并行方法

引用链接

[1]Efficient Training on Multiple GPUs:https://huggingface.co/docs/transformers/main/en/perf_train_gpu_many#tensor-parallelism
[2]Zero Redundancy Optimizer - DeepSpeed:https://www.deepspeed.ai/tutorials/zero/
[3]Tensor Parallelism:https://huggingface.co/docs/text-generation-inference/conceptual/tensor_parallelism
[4]Model Memory Utility - a Hugging Face Space by hf-accelerate:https://huggingface.co/spaces/hf-accelerate/model-memory-usage
[5]DataParallel — PyTorch 2.5 documentation:https://pytorch.org/docs/stable/generated/torch.nn.DataParallel.html
[6]GPipe paper:https://ai.googleblog.com/2019/03/introducing-gpipe-open-source-library.html
[7]Pipeline Parallelism - DeepSpeed:https://www.deepspeed.ai/tutorials/pipeline/
[8]4.3 矩阵分块运算｜《线性代数》 - 知乎:https://zhuanlan.zhihu.com/p/422710424

LLM - 理解 主流大模型 LLM 都使用 Decoder Only 架构的原因 (总结8点)
AGI
08-05 1156
Decoder Only 模式泛化性更好的理论原因包括：训练难度更大、具有隐式的位置编码能力、上下文学习支持 Few-Shot、注意力矩阵是满秩的、参数更少推理更快、KV-Cache、支持 Pipeline Parallel、实验支持。LLM 主流都会使用 Decoder Only 架构，而 Encoder-Decoder、PrefixLM 等混合训练方式，相对较小模型更加合适。
谈谈DeepSeek-v3在算力约束下的出色工作
强化学习曾小健
12-29 1678
DeepSeek-V3是一个671B的MoE模型, 每个Token激活参数为37B, 采用了MLA和DeepSeekMoE架构, 在大多数模型还在维持Transformer架构时, DeepSeek直接对架构进行了两个非常重要的创新, 并且通过v2充分验证了MLA和MoE的性能, 非常出色的工作. 一些Benchmark如下, 突然有点心疼Meta的几个亿美金...在同类产品中基本上做到了领先, 特别是在Code和math上.
大模型Infra这些年，从黑铁时代到黄金时代再到白银时代
lqfarmer的博客
07-18 530
作者：方佳瑞，清华大学 计算机科学技术博士；腾讯 · 专家工程师。声明：本文已经授权，版权归原作者！原文：https://zhuanlan.zhihu.com/p/708594043越来越多人开始关注大模型，很多做工程开发的同学问我怎么入门大模型训练推理系统软件（俗称大模型Infra）。作为一名曾经后台开发岗位同学，大家的心情我感同身受。近年来国内互联网业务整体低迷，而大模型却在逆势崛起，每天新闻可谓繁花似锦，烈火烹油，和其他子领域形成了鲜明对比。
数据并行(DP)、张量模型并行(TP)、流水线并行(PP)
热门推荐
yuanyuanxingxing的专栏
08-23 3万+
数据集分为n块，每块随机分配到m个设备(worker)中，相当于m个batch并行训练n/m轮，模型也被复制为n块，每块模型均在每块数据上进行训练，各自完成前向和后向的计算得到梯度，更新后，再传回各个worker。以确保每个worker具有相同的模型参数。下图1：每个设备分1份数据下图2：每个设备分4份数据数据不切分的话，就是总共N-1次传输中每次传输数据大小为O（O是模型参数量），数据流转完整一圈仍然需要(N-1)*O的时间，传统参数服务器的总时间没区别了。
解密AI大模型训练的三大并行策略：DP、TP、PP
2401_84208172的博客
12-13 4299
随着人工智能领域的迅速发展，深度学习模型变得越来越大，参数数量也从数百万增加到了数十亿甚至更多。为了应对这些大规模模型带来的挑战，研究者们开发了多种并行化策略以加速训练过程和提高计算资源利用率。在大模型训练领域，数据并行（Data Parallelism, DP）、张量并行（Tensor Parallelism, TP）和流水线并行（Pipeline Parallelism, PP）是三个关键的并行策略。它们在处理大规模模型训练时发挥着重要作用，合理运用这些策略能够显著提升训练效率和效果。
【LLM】GLM长文本训练（数据、流程、infra）
发现问题，并解决问题，批判性思维
08-25 1689
GLM融合packing和sorted batching的优点，提出sorted packing训练方法：根据计算量来构建同一批次内的 Pack，确保同一批次中各个 Pack 数据的计算量相近，从而减少了气泡时间。此外，我们还引入了梯度累积技术，以避免排序带来的偏差 长短文本混合 SFT 的高效训练方法主要有两种：Packing 和 Sorted Batching。Sorted Batching 可能会引入某些先验知识，即同一批次内的数据长度趋于一致，这有可能导致不良的训练效果。相比之下，Packing 策
TP DP PP 并行训练方法介绍
www_z_dd的博客
08-03 2446
由于前向计算的 activation 需要等到对应的后向计算完成后才能释放（无论有没有使用 Checkpointing 技术），因此在流水并行下，如果想尽可能节省缓存 activation 的份数，就要尽量缩短每份 activation 保存的时间，也就是让每份 activation 都尽可能早的释放，所以要让每个 micro-batch 的数据尽可能早的完成后向计算，因此需要把后向计算的优先级提高。黄卡上放的模型的层的输入是灰色的卡上放的模型的输出。在前向计算期间，每个加速器仅存储分区边界处的输出激活。
【DeepSeek】DeepSeek-V3 高效训练关键技术分析
风一样
02-11 1145
DeepSeek-V3 的训练由 HAI-LLM 框架（DeepSeek 自研训练框架）支持，采用了。
【完整版】DeepSeek-R1大模型学习笔记（架构、训练、Infra、复现代码）
我的技术栈碎碎念空间
02-04 8134
MoE在每次推理时选择性地激活部分模型参数，在不成比例增加计算成本的情况下，可以扩展模型参数。在DeepSeek-V2中就提出了用于FFN层的DeepSeekMoE，DeepSeek-R1在DeepSeek-V2基础上进一步优化。
DeepSeek的核心技术探索
mry6的博客
02-11 1057
DeepSeek 2023年7月成立于杭州，是幻方量化旗下的子公司，全称是杭州深度求索人工智能基础技术研究有限公司。“成立时间才一年多”、“最近推出的V3已经能和OpenAI的4o(名称中"o"代表Omni，即全能的意思，凸显了其多功能的特性。)媲美”、“训练成本不到600W美元”、“API定价仅是国内其它头部厂商几十分之一”、“APP已经在中美APP store登上免费应用榜首”；
LLM-分布式训练工具01-DeepSpeed：ZeRO系列【将显存优化进行到底】
u013250861的博客
06-16 1084
目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow/JAX 和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由Google主导，由于TPU和自家云平台GCP深度绑定，对于非Googler来说， 只可远观而不可把玩，后者背后则有NVIDIA、Meta、MS大厂加持，社区氛围活跃，也更受到群众欢迎。
Hugging Face高效训练技术四：多GPU分布式训练（DP、PP、TP 、ZeRO）
qq_56591814的博客
11-02 1万+
介绍了主要的分布式训练策略：数据并行、模型并行、管道并行、张量并行和Zero
分布式训练
EveyD的博客
06-17 632
将 mini-batch 进一步划分成更小的 micro-batch，同时利用 pipipline 方案，每次处理一个 micro-batch 的数据，得到结果后，将该 micro-batch 的结果发送给下游设备，同时开始处理后一个 micro-batch 的数据，通过这套方案减小设备中的 Bubble(把网络分成 4 块，每一块放在一个 GPU 上，不同的颜色表示不同的 GPU)，于是就有了 F0、F1、F2、F3 这 4 个管级的前向路径，然后是 B3、B2、B1、B0 的逆序后向路径。
DeepSeek开源周 Day02：从DeepEP开源趋势重新审视大模型Infra
yanqianglifei的专栏
02-25 1105
如下图为 NVIDIA GPU 常见的浮点数表示方式，其中 sign 表示符号位，exponent 表示指数位（决定了动态范围），mantissa 表示尾数位（决定了表示精度）。相比 FP32：FP16的指数位和尾数位都更小。因此，通常 FP32 转 BF16 时会带来较大的精度损失。BF16的指数位和 FP32 相同，尾数位更少。因此，通常 FP32 转 BF16 只需要做尾数位的截断，损失相对较小。现在的 LLM 预训练中通常都会使用 BF16。FP8 E4M3 的指数位和尾数位都更小。
vLLM 多机多卡推理测试与验证（Kubernetes）vLLM 多机多卡推理 Kubernetes 验证
流水_鱼鱼的博客
02-14 1909
本文记录在两台 L20 机器，每台机器 4 块 L20 显卡（46G）的环境下，使用 vLLM 部署 Qwen2.5-32B-Instruct-GPTQ-Int4 模型并提供多节点多卡推理服务的过程。服务（Serving）模型服务是指将模型部署到生产环境中，通过 API 或其他接口提供预测服务的过程。【分布式推理与服务】（Distributed Inference and Serving）是指在多个机器或设备之间部署和管理机器学习模型，以高效地处理推理请求并满足大规模服务需求。3、启动 vLLM 服务。
LLM：并行化训练
qq_43814415的博客
08-01 1913
llama3.1论文称使用了：张量并行（TP）、流水线并行（PP）、上下文并行（CP）和数据并行（DP）。并行化可以先粗分为：1.数据并行2.模型并行：张量并行，流水线并行3.上下文并行（llama3.1）4.deepspeed （专门提出）所以主要就是 数据并行（DP）、张量并行（TP）、流水线并行（PP）。还有deepspeed。
大型语言模型（LLM）推理框架的全面分析与选型指南（2025年版）
最新发布
m0_63171455的博客
02-28 1485
本文全面深入地分析了截至 2025年2月27日主流 LLM 推理框架的最新技术动态、核心特性、以及在各种典型应用场景下的最佳实践。SGLang 凭借其高性能 runtime 和强大的分布式支持能力，在快速原型开发和企业级大规模部署领域独占鳌头，尤其结合 SkyPilot 和 Kubernetes 的实战案例，充分印证了其在复杂应用场景下的卓越表现。vLLM 和 LMDeploy 继续在 GPU 高性能推理领域保持绝对领先地位。
大规模分布式 AI 模型训练系列——序列并行
m0_59164304的博客
09-28 2714
在 Transformer 模型中，自注意力机制的内存需求、计算量与序列长度成二次方关系，导致序列比较长时可能存在明显瓶颈。在 [2105.13120] Sequence Parallelism: Long Sequence Training from System Perspective 中，作者提出了序列并行（Sequence Parallelism），这是一种内存高效的并行方案，可以帮助突破输入序列长度限制，并在 GPU 上高效地训练更长的序列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值