TP、PP、DP、集群GPU卡数、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】【grad_accum_steps=gbz/(mbz*DP)】

已于 2024-03-24 06:55:43 修改
阅读量627 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： LLM
于 2024-03-24 06:35:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/136979588
版权
本文深入探讨了在深度学习训练中，Transformer Parallelism (TP), Pipeline Parallelism (PP), Data Parallelism (DP)、集群中的GPU卡数以及grad_accum_steps之间的数学关系。DP可以通过集群中GPU卡总数world_size除以TP和PP的乘积来计算。而grad_accum_steps的计算公式为总梯度步长(gbz)除以微批次大小(mbz)乘以DP。" 124575831,9232316,Qt实现四则运算计算器,"['Qt', '计算机图形学']
摘要由CSDN通过智能技术生成 
mp_size = cfg.get('tensor_model_parallel_size', 1) * cfg.get('pipeline_model_parallel_size', 1)
cp_size = cfg.get
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
[论文笔记] pai megatron patch 启任务时pp tp seq_len world_size的设置整除限制
心宝的博客
07-11 83
groups要是TP_SIZE的倍数。seq_len整除world_size。层数要是PP_SIZE的倍数，
详解torch.nn.utils.clip_grad_norm_ 的使用与原理
iioSnail的博客
02-08 5万+
文章目录clip_grad_norm_的原理clip_grad_norm_参数的选择（调参）clip_grad_norm_使用演示 clip_grad_norm_的原理 本文是对梯度剪裁: torch.nn.utils.clip_grad_norm_()文章的补充。所以可以先参考这篇文章 从上面文章可以看到，clip_grad_norm最后就是对所有的梯度乘以一个clip_coef，而且乘的前提是clip_coef一定是小于1的，所以，按照这个情况：clip_grad_norm只解决梯度爆炸问题，不解决
TP DP PP 并行训练方法介绍
www_z_dd的博客
08-03 2080
由于前向计算的 activation 需要等到对应的后向计算完成后才能释放（无论有没有使用 Checkpointing 技术），因此在流水并行下，如果想尽可能节省缓存 activation 的份数，就要尽量缩短每份 activation 保存的时间，也就是让每份 activation 都尽可能早的释放，所以要让每个 micro-batch 的数据尽可能早的完成后向计算，因此需要把后向计算的优先级提高。黄卡上放的模型的层的输入是灰色的卡上放的模型的输出。在前向计算期间，每个加速器仅存储分区边界处的输出激活。
大规模分布式 AI 模型训练系列——序列并行
最新发布
m0_59164304的博客
09-28 1153
在 Transformer 模型中，自注意力机制的内存需求、计算量与序列长度成二次方关系，导致序列比较长时可能存在明显瓶颈。在 [2105.13120] Sequence Parallelism: Long Sequence Training from System Perspective 中，作者提出了序列并行（Sequence Parallelism），这是一种内存高效的并行方案，可以帮助突破输入序列长度限制，并在 GPU 上高效地训练更长的序列。
数据并行(DP)、张量模型并行(TP)、流水线并行(PP)
yuanyuanxingxing的专栏
08-23 2万+
数据集分为n块，每块随机分配到m个设备(worker)中，相当于m个batch并行训练n/m轮，模型也被复制为n块，每块模型均在每块数据上进行训练，各自完成前向和后向的计算得到梯度，更新后，再传回各个worker。以确保每个worker具有相同的模型参数。下图1：每个设备分1份数据下图2：每个设备分4份数据数据不切分的话，就是总共N-1次传输中每次传输数据大小为O（O是模型参数量），数据流转完整一圈仍然需要(N-1)*O的时间，传统参数服务器的总时间没区别了。
Hugging Face高效训练技术四：多GPU分布式训练（DP、PP、TP 、ZeRO）
qq_56591814的博客
11-02 8027
介绍了主要的分布式训练策略：数据并行、模型并行、管道并行、张量并行和Zero
args.grad_accum_steps = max(1, args.grad_accum_steps)
2301_77549977的博客
04-07 174
将args.grad_accum_steps的值与1比较取较大值，确保args.grad_accum_steps至少为1。这个设置通常用于控制梯度累积的步数。
如何搭建10万个H100 GPU的集群：电力、并行化、网络拓扑与成本优化
weixin_41496173的博客
07-04 1595
在现代人工智能的发展中，构建大规模GPU集群是提升计算能力的关键手段。今天我们探讨如何搭建一个包含10万个H100 GPU的集群。这个项目不仅涉及巨大的资本支出，还面临电力供应、并行化处理、网络拓扑结构以及可靠性和恢复等多方面的挑战。通过深入分析这些问题，本文将为大家揭示构建如此庞大集群的复杂性和关键技术。
Pytorch中autograd.Variable.backward的grad_varables参数个人理解浅见
rothschild666的博客
03-10 2532
Pytorch中autograd.Variable.backward的grad_varables参数个人理解浅见
TypeError: LoraConfig.__init__() got an unexpected keyword argument ‘layer replication‘解决方案
热门推荐
weixin_43178406的博客
04-04 8万+
本文主要介绍了TypeError: LoraConfig.__init__() got an unexpected keyword argument ‘layer replication’，希望能对使用lora微调的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
ValueError: paged_adamw_32bit is not a valid OptimizerNames, please select one of [‘adamw_hf‘,]解决方案
weixin_43178406的博客
07-19 6万+
本文主要介绍了ValueError: paged_adamw_32bit is not a valid OptimizerNames, please select one of [‘adamw_hf’, ‘adamw_torch’, ‘adamw_torch_fused’, ‘adamw_torch_xla’, ‘adamw_apex_fused’, ‘adafactor’, ‘adamw_bnb_8bit’, ‘adamw_anyprecision’, ‘sgd’, ‘adagrad’]解决方案。
XAI/ML：机器学习模型可解释性之量化特征贡献度(特征重要性)的函数详解(feature_importances_/plot_partial_dependence/permutation_impor
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-29 3698
​ XAI/ML：机器学习模型可解释性之量化特征贡献度(特征重要性)的函数详解(feature_importances_/plot_partial_dependence/permutation_importance) 目录 1、feature_importances_函数 2、plot_partial_dependence函数 3、permutation_importance函数 1、feature_importances_函数 简单来说，每个特征对于提升整个模型的预测能力的贡献
【智能算力中心万卡GPU集群架构深度分析 2024】
lhx17673139267的博客
06-30 1425
自 ChatGPT 发布以来，科技界掀起了一场大模型的竞争热潮。数据成为新生产要素，算力成为新基础能源,大模型则成为新生产工具，各行各业从“+A”向“AI+的转变已势不可挡。随着模型参数量从千亿迈向万亿，模型能力更加泛化，大模型对底层算力的诉求进一步升级，超万卡集群成为这一轮大模型基建军备竞赛的标配超万卡集群将有助于压缩大模型训练时间,实现模型能力的快速迭代，并及时对市场趋势作出应对。
【超万卡GPU集群关键技术深度分析 2024】
lhx17673139267的博客
06-28 1068
集群高能效计算技术随着大模型从千亿参数的自然语言模型向万亿参数的多模态模型升级演进，超万卡集群吸需全面提升底层计算能力。具体而言，包括增强单芯片能力、提升超节点计算能力、基于 DPU (Data Processing Unit) 实现多计算能力融合以及追求极致算力能效比。这些系统性的提升将共同支持更大规模的模型训练和推理任务，满足迅速增长的业务需求。1.1 单芯片能力超万卡集群中，单芯片能力包括单个 GPU 的计算性能和 GPU 显存的访问性能。在单个 GPU 计算性能方面,首先需要设计先
LLM：并行化训练
qq_43814415的博客
08-01 1151
llama3.1论文称使用了：张量并行（TP）、流水线并行（PP）、上下文并行（CP）和数据并行（DP）。并行化可以先粗分为：1.数据并行2.模型并行：张量并行，流水线并行3.上下文并行（llama3.1）4.deepspeed （专门提出）所以主要就是 数据并行（DP）、张量并行（TP）、流水线并行（PP）。还有deepspeed。
Megatron-LM源码系列(八): Context Parallel并行
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
05-28 2858
megatron中的context并行(简称CP)与sequence并行(简称SP)不同点在于，SP只针对Layernorm和Dropout输出的activation在sequence维度上进行切分，CP则是对所有的input输入和所有的输出activation在sequence维度上进行切分，可以看成是增强版的SP。除了Attention模块以外，其他的模块(Layernorm、Dropout)由于没有多token的处理，在CP并行时都不用任何修改。
梯度剪裁: torch.nn.utils.clip_grad_norm_()
Mikeyboi的博客
08-08 2万+
目录前言一、原理二、使用方法总结 前言 当神经网络深度逐渐增加，网络参数量增多的时候，反向传播过程中链式法则里的梯度连乘项数便会增多，更易引起梯度消失和梯度爆炸。对于梯度爆炸问题，解决方法之一便是进行梯度剪裁，即设置一个梯度大小的上限。本文介绍了pytorch中梯度剪裁方法的原理和使用方法。 一、原理 注：为了防止混淆，本文对神经网络中的参数称为“网络参数”，其他程序相关参数成为“参数”。 pytorch中梯度剪裁方法为 torch.nn.utils.clip_grad_norm_(parameters
transformers加载模型时自动选择空闲的多个GPU的实战代码
weixin_43178406的博客
07-26 5万+
本文主要介绍了transformers加载模型时自动选择空闲的多个GPU的实战代码，希望能对使用huggingface transformers的同学们有所帮助。 文章目录 1. 背景描述 2. 实战 2.1 安装Python库 2.2 实战代码
大模型分布式训练并行技术分享
crazybean_lwb的博客
05-26 1336
目前业内解决大模型问题，基本以多节点、分布式方案为主。分布式方案具体的实施时，又分为数据并行、参数并行、流水线并行等，针对具体的业务场景采取合适的并行方案方可带来更高的效率。后续结合业内主流的分布式框架，具体介绍各种并行的思路以及可能带来的收益。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值