大模型并行：TP, PP, DP，MP

最新推荐文章于 2025-03-18 10:00:19 发布
最新推荐文章于 2025-03-18 10:00:19 发布
阅读量1k 收藏 2
点赞数 2
分类专栏： 2024大模型以及算力 2021 论文 教学 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/144095124
版权
教学 同时被 3 个专栏收录
1256 篇文章 ¥199.90 ¥299.90
订阅专栏
2021 论文
832 篇文章 ¥199.90 ¥299.90
订阅专栏
2024大模型以及算力
655 篇文章 ¥199.90 ¥299.90
订阅专栏

目录

大模型并行：TP, PP, DP，MP

张量并行（TP）

数据并行（DP）

模型并行（MP）

流水线并行（PP）

TP：张量模型并行

一、定义与基本原理

二、切分方式

三、主要优势与挑战

优势

挑战

四、应用场景

五、注意事项

大模型并行：TP, PP, DP，MP

数据并行（Data Parallelism, DP）、模型并行（Model Parallelism, MP）和流水线并行（Pipeline Parallelism, PP）是并行计算中三种常见的策略，它们各自具有独特的特点和适用场景。

张量并行（TP）

解决内存墙的问题。模型的权重矩阵被分割成多个部分，每个部分由不同的设备负责计算。TP的通信主要发生在前向和后向传播过程中，设备之间需要交换分割后的中间结果。由于需要在每次前向和后向传播时进行通信，TP的通信量也相当大。需要进行concat操作。

数据并行（DP）

数据并行是一种将数据集划分为多个部分，并

了解本专栏 订阅专栏 解锁全文
TP、PP、DP、集群GPU卡数、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】【grad_accum_steps=gbz/(mbz*DP)】
u013250861的博客
03-24 929
【代码】TP、PP、DP、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】
分布式训练-模型并行：张量模型并行【TP（Tensor Parallelism）】
u013250861的博客
08-26 968
¶张量模型并行需要解决两个问题：参数如何切分到不同设备（切分方式）；以及切分后，如何保证数学一致性（数学等价）。本文以 NLP 中的 Transformer 结构为例，介绍张量模型并行的切分方式和随机性控制。
解密AI大模型训练的三大并行策略：DP、TP、PP
2401_84208172的博客
12-13 3816
随着人工智能领域的迅速发展，深度学习模型变得越来越大，参数数量也从数百万增加到了数十亿甚至更多。为了应对这些大规模模型带来的挑战，研究者们开发了多种并行化策略以加速训练过程和提高计算资源利用率。在大模型训练领域，数据并行（Data Parallelism, DP）、张量并行（Tensor Parallelism, TP）和流水线并行（Pipeline Parallelism, PP）是三个关键的并行策略。它们在处理大规模模型训练时发挥着重要作用，合理运用这些策略能够显著提升训练效率和效果。
什么是张量并行TP
最新发布
顺其自然~专栏
03-18 44
通俗来说，如果你有一个非常大的神经网络模型，单个GPU的内存无法装下所有的模型参数，你就可以使用多个GPU来共同存储和计算这个模型。启用张量并行后，模型的不同部分会被分配到不同的GPU上，多个GPU协同工作，共同完成模型的训练或推理任务。：这意味着GPU的数量必须是2的幂次方，比如1、2、4、8、16等。：默认情况下，如果不设置这个参数，那么就只有1个GPU用于计算，也就是说没有启用张量并行。的方法，特别是用于大型模型，这些模型太大以至于不能在单个GPU的内存中完全容纳。表示参与张量并行的GPU数量。
数据并行(DP)、张量模型并行(TP)、流水线并行(PP)
热门推荐
yuanyuanxingxing的专栏
08-23 3万+
数据集分为n块，每块随机分配到m个设备(worker)中，相当于m个batch并行训练n/m轮，模型也被复制为n块，每块模型均在每块数据上进行训练，各自完成前向和后向的计算得到梯度，更新后，再传回各个worker。以确保每个worker具有相同的模型参数。下图1：每个设备分1份数据下图2：每个设备分4份数据数据不切分的话，就是总共N-1次传输中每次传输数据大小为O（O是模型参数量），数据流转完整一圈仍然需要(N-1)*O的时间，传统参数服务器的总时间没区别了。
Hugging Face高效训练技术四：多GPU分布式训练（DP、PP、TP 、ZeRO）
qq_56591814的博客
11-02 1万+
介绍了主要的分布式训练策略：数据并行、模型并行、管道并行、张量并行和Zero
TP DP PP 并行训练方法介绍
www_z_dd的博客
08-03 2418
由于前向计算的 activation 需要等到对应的后向计算完成后才能释放（无论有没有使用 Checkpointing 技术），因此在流水并行下，如果想尽可能节省缓存 activation 的份数，就要尽量缩短每份 activation 保存的时间，也就是让每份 activation 都尽可能早的释放，所以要让每个 micro-batch 的数据尽可能早的完成后向计算，因此需要把后向计算的优先级提高。黄卡上放的模型的层的输入是灰色的卡上放的模型的输出。在前向计算期间，每个加速器仅存储分区边界处的输出激活。
图解大模型分布式并行各种通信原语
Briwisdom的博客
06-02 1089
本文将通过图解的方式，帮助快速区分并理解不同的通信原语所代表的含义。包括：broadcast, scatter, gather, all-gather, reduce, all-reduce, reduce-scatter, all-all
MLOPS：大数据/服务器下的大规模机器学习技术—并行计算技术的简介、训练大模型3+分布式并行策略：数据并行DP【MPI/Hadoop】、模型并行MP【Megatron-LM/PaLM】、管道并行PP
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-22 1064
​ MLOPS：大数据/服务器下的大规模机器学习技术—并行计算技术的简介、训练大模型3+分布式并行策略：数据并行DP【MPI/Hadoop】、模型并行MP【Megatron-LM/PaLM】、管道并行PP【多核CPU/GPU】)、两种实现方式(算法并行、框架并行)之详细攻略 目录 相关文章 一、并行计算技术的简介 二、ML实现方式(算法并行/框架并行)——机器学习算法或框架中并行计算技巧实现的简介 相关文章 AI之MLOPS：数据科学/机器学习算法领域之工程化五大核心技
分布式训练-模型并行：流水线并行【PP（Pipeline Parallelism）】【不是用于提速，是用于解决一张卡放不下模型】
u013250861的博客
08-26 758
¶与数据并行不同，流水线并行将模型的不同层放置到不同的计算设备，降低单个计算设备的显存消耗，从而实现超大规模模型训练。以上图为例，示例模型包含四个模型层。该模型被切分为三个部分，并分别放置到三个不同的计算设备。即，第 1 层放置到设备 0，第 2 层和第三 3 层放置到设备 1，第 4 层放置到设备 2。相邻设备间通过通信链路传输数据。
DataFunSummit非数据中心GPU上的大模型并行训练.pptx
01-11
大模型的并行训练，尤其是在非数据中心GPU环境中，已成为一种重要的技术手段，目的是为了提高训练效率，降低单卡显存需求，合理利用系统资源，以及提升模型的训练速度和质量。并行训练主要分为数据并行、模型并行和...
基于增强TP模型变换的并行分布式补偿控制设计
04-30
在TP模型转换中，均匀采样法通常采样的超网格点均等分布，因此在采样步骤不进行微调时，采样结果经常会忽略局部极值。然后将所得张量用于控制器设计尽管增益是线性矩阵不等式的可行解，但它不能完全覆盖状态空间。本文针对基于TP模型变换的并行分布式补偿（PDC）控制器进行了三方面的扩展：.1）现有基于TP模型变换的基于PDC变换的PDC控制器该方法通过统一采样方法和扩展信号扩展到基于TP模型变换的PDC跟踪控制器。.2）一种新的TP模型变换-b 3.基于非均匀采样方法，提出了一种基于TP模型变换的PDC跟踪控制器。 提出的基于自适应TP模型变换的PDC跟踪控制器能够提高基于TP模型变换的PDC控制器的性能。由于基于TP模型变换的自适应PDC控制器几乎精确地采样，因此获得了最佳结果。系统。
并行策略时的迭代时间表；TP、PP、DP之间的关系
ZJQ的博客
11-28 379
并行策略时的迭代时间表；TP、PP、DP之间的关系
入门下大模型训练中的MP、PP、TP等操作
Code1994的博客
01-20 1287
近年来，我们在许多 NLP 基准任务上看到了更好的结果，这得益于更大规模的预训练语言模型。训练大型且深度的神经网络是一个挑战，因为它需要大量的 GPU 内存和漫长的训练时间。然而，单个 GPU 工作器的内存有限，许多大型模型的大小已经超出了单个 GPU 的容量。有几种并行范式可以实现在多个 GPU 上进行模型训练，以及各种模型架构和内存节省设计，以帮助实现训练真正大型神经网络的可能性。
LLM分布式训练---流水线并行
摩登都市天空---专栏
05-06 3318
所谓流水线并行，就是由于模型太大，无法将整个模型放置到单张GPU卡中；因此，将模型的不同层放置到不同的计算设备，降低单个计算设备的显存消耗，从而实现超大规模模型训练。流水线并行PP（Pipeline Parallelism），是一种最常用的并行方式，也是最初Deepspeed和Megatron等大模型训练框架都支持的一种并行方式。如下图所示，模型共包含四个模型层（如：Transformer层），被切分为三个部分，分别放置到三个不同的计算设备。
EVT DVT PVT TP PP MP分别指哪个阶段
qlexcel的专栏
05-27 3万+
转载自《https://www.baidu.com/link?url=xIhRuBhUxh4ddG-jFMWW7pwUcoiXRjkQI5Bc0dzv1hlMFRETx-Q_Ed3vqmxn4j4_giWWNmb5h-IyX_8Z3TbPd_&wd=&eqid=f28e9d45001f60b90000000360af3763》 ES:engineering sample,工程样品 CS:Customer sample,客户样品 PP:pre-production,试生产 MP:mass pr
分布式训练
EveyD的博客
06-17 612
将 mini-batch 进一步划分成更小的 micro-batch，同时利用 pipipline 方案，每次处理一个 micro-batch 的数据，得到结果后，将该 micro-batch 的结果发送给下游设备，同时开始处理后一个 micro-batch 的数据，通过这套方案减小设备中的 Bubble(把网络分成 4 块，每一块放在一个 GPU 上，不同的颜色表示不同的 GPU)，于是就有了 F0、F1、F2、F3 这 4 个管级的前向路径，然后是 B3、B2、B1、B0 的逆序后向路径。
LLM：并行化训练
qq_43814415的博客
08-01 1834
llama3.1论文称使用了：张量并行（TP）、流水线并行（PP）、上下文并行（CP）和数据并行（DP）。并行化可以先粗分为：1.数据并行2.模型并行：张量并行，流水线并行3.上下文并行（llama3.1）4.deepspeed （专门提出）所以主要就是 数据并行（DP）、张量并行（TP）、流水线并行（PP）。还有deepspeed。
大模型TP
03-13
<think>好的，我现在需要回答用户关于大模型训练中的训练管道（Training Pipeline, TP）的问题。首先，我需要明确用户所说的TP具体指的是什么。因为在机器学习中，TP可能有不同的含义，比如Tensor Parallelism（张量并行）或者Training Pipeline（训练管道）。根据用户提供的引用资料，特别是引用[2]中提到PTD-P结合了DP（数据并行）、PP（管道并行）和TP（张量并行），这里TP应该是指张量并行。 接下来，我需要整理用户提供的引用内容。引用[1]提到了TeraPipe，它利用Transformer-based模型的auto-regressive性质进行管道并行。引用[2]则指出PTD-P结合了三种并行方法，包括TP。引用[3]讨论了模型检索和阅读模块的联合训练，这可能与训练管道的优化有关，但不太直接相关。 用户的问题是关于大模型训练中的TP，即训练管道。但根据引用[2]，TP在这里更可能指张量并行。因此，我需要解释TP在并行训练中的角色，以及它如何与其他并行方法（如DP和PP）结合。同时，可能需要澄清术语，避免混淆，因为用户可能将Training Pipeline缩写为TP，但实际在文献中TP常指张量并行。 需要确保回答的结构清晰，分点说明TP的概念、工作原理、与其他并行的区别，以及应用场景。同时，根据用户要求，生成相关问题。最后，引用相关的文献，注意引用标识的正确使用。 另外，要注意用户可能存在的术语混淆，比如误将Training Pipeline简称为TP，而实际上在引用[2]中TP是Tensor Parallelism。因此，在回答中需要明确这一点，避免误导。可能需要在回答开头澄清术语，并解释两种可能的含义，但根据上下文，确定TP指的是张量并行。</think>### 大模型训练中的管道并行（Pipeline Parallelism, PP）与张量并行（Tensor Parallelism, TP） 在大型语言模型（LLM）训练中，**TP（Tensor Parallelism，张量并行）** 是一种关键并行技术，旨在通过分割模型参数来加速训练。然而需注意，术语“TP”在不同场景下可能指代不同概念： 1. **Tensor Parallelism（张量并行）**：将模型层的参数切分到多个设备，例如将矩阵乘法分块计算[^2]。 2. **Training Pipeline（训练管道）**：广义上指训练流程的优化策略（如数据加载、计算、通信的流水线化）。 根据引用[2]的上下文，TP更可能指张量并行。以下从并行技术角度展开说明： --- #### 1. **张量并行（TP）的核心原理** - **目标**：解决单个设备内存不足的问题，将模型参数分片到多设备并行计算。 - **实现方式**： 以Transformer层为例，将全连接层的权重矩阵$W$按行或列切分，每个设备计算局部结果后同步聚合。例如： $$y = Wx \quad \Rightarrow \quad y_1 = W_1x,\ y_2 = W_2x \quad \Rightarrow \quad y = \text{concat}(y_1, y_2)$$ - **优势**：降低单设备显存需求，提升模型规模上限。 --- #### 2. **TP与其他并行技术的对比** - **数据并行（DP）**：复制模型参数到多设备，按批次数据分片（如PyTorch的`DataParallel`）。 - **管道并行（PP）**：将模型按层切分到多设备，形成流水线（如引用[1]的TeraPipe）。 - **混合并行**：实际训练中常组合使用TP、PP、DP。例如引用[2]的PTD-P方法结合三者，提升吞吐量并保持优化器一致性。 --- #### 3. **训练管道的优化挑战** - **通信开销**：TP需频繁同步中间结果，设备间带宽成为瓶颈。 - **负载均衡**：参数分片需均匀分配计算量，避免设备空闲。 - **与PP的协同**：如引用[1]所述，Transformer的自回归特性可被用于流水线设计，但需处理序列依赖。 --- #### 4. **应用场景** - **超大规模模型训练**：如GPT-3、PaLM等千亿参数模型需TP+PP+DP联合优化。 - **硬件适配**：在GPU集群或TPU Pod上，TP可针对高速互连网络（如NVLink）优化分片策略。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值