LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】

已于 2023-11-26 00:34:13 修改
阅读量1.3k 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 自然语言处理
于 2023-10-22 21:34:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133978618
版权
本文介绍了NVIDIA的Megatron-LM框架，用于训练大规模语言模型。该框架结合数据并行、张量并行和流水线并行策略，以应对大模型的训练挑战。文章详细讨论了数据并行的限制、模型并行的两种形式——张量并行和流水线并行，以及它们的通信和效率问题。通过智能的计算图分割、通信优化和并行模式的组合，Megatron-LM实现了高效训练大型模型的潜力。
摘要由CSDN通过智能技术生成
最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。

Megatron-LM 代码版本：23.06

https://github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron

Megatron-LM 近期的改动16 赞同 · 2 评论文章

1. 导读

NVIDIA Megatron-LM

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM-预训练：深入理解 Megatron-LM（5）张量并行
u013250861的博客
10-22 715
通过注释，可以看出- -| A_1 || . || . || A_p |- -Arguments:again.to zero."""MLP 并行总结一下MLPMLP由一个接上一个完成的。是对权重进行列切分是对权重进行行切分。其中的 �1,�2没有经过 all-gather 操作，而是直接输入到了之中，接到了的 �1,�2。具体如下图以上就是对模型并行实现的分析。
LLM-预训练-Megatron-LM-学习笔记-02：深入理解 Megatron-LM（2）原理介绍
u013250861的博客
11-26 7306
本篇文章对张量模型并行、流水线模型并行的原理进行简单介绍。
LLM分布式训练 --- Megatron-LM
热门推荐
摩登都市天空---专栏
08-26 1万+
数据并行模式会在每个worker之上复制一份模型，这样每个worker都有一个完整模型的副本。输入数据集是分片的，一个训练的小批量数据将在多个worker之间分割；worker定期汇总它们的梯度，以确保所有worker看到一个一致的权重版本。对于无法放进单个worker的大型模型，人们可以在模型之中较小的分片上使用数据并行。a）超过某一个点之后，每个GPU的batch size变得太小，这降低了GPU的利用率，增加了通信成本；
【LLM工程篇】deepspeed | Megatron-LM | fasttransformer
发现问题，并解决问题，批判性思维
09-19 4292
当前比较主流的一些分布式计算框架 DeepSpeed、Megatron 等，都在降低显存方面做了很多优化工作，比如：量化、模型切分、混合精度计算、Memory Offload 等 文章目录 note 大模型参数计算 1. 模型参数单位 2. 训练显存计算 3. 推理显存计算 大模型的分布式训练 1. 数据并行 2. 模型并行 3. 流水并行 4. 混合并行 模型量化 DeepSpeed ZeRO：零冗余优化 DeepSpeed Chat fastertransformer：LLM推理加速引擎 Megatro
【论文阅读】Megatron-LM要点
m0_37477175的博客
06-05 1663
本文主要是对李沐老师的b站分享做一下自己的理解和总结。模型结构无非就是那样，相比而言，想要训练更大的模型而又能平稳进行，是一项非常高超的技术！nvidia跟gpipe类似，也是模型并行，但是在任务切割上面跟gpipe不一样。gpipe： transformer也可以，cnn也可以，比较通用的方式。把不同的层放到不同的gpu，加入数据并行，成为流水线并行。Megatron-LM：只针对特别大的使用transformer的语言模型，层中间切开，然后放到不同的gpu上。
LLM-预训练：深入理解 Megatron-LM（3）代码结构
u013250861的博客
10-22 152
以上介绍了 Megatron-LM 代码的整体结构，下一篇介绍模型并行的实现。简枫：深入理解 Megatron-LM（4）模型并行实现20 赞同 · 0 评论文章​编辑简枫：深入理解 Megatron-LM（5）并行设置10 赞同 · 0 评论文章​编辑。
LLM-预训练：深入理解 Megatron-LM（4）并行设置
u013250861的博客
10-22 169
以上就是对并行设置的分析。下一篇我们重点看下模型并行的内容。简枫：深入理解 Megatron-LM（5）张量并行20 赞同 · 0 评论文章​编辑。
LLM-预训练：Megatron-LM （23.06版本）近期的改动
u013250861的博客
10-22 230
因为 总数��=���总数��∗�� ，在大模型的训练过程中，会经常遇到GPU或者Node突然坏掉的情况，所以整体的GPU总数可能是动态变化的。这样新特性的支持可以更方便的让我们在有个别GPU或者Node坏掉的情况下重启训练过程。只要模型Checkpoint的流水线并行组（PP）和张量并行组（TP）不变，就可以动态加载并且继续训练模型，即使数据并行组（DP）的个数发生变化。
详解MegatronLM序列模型并行训练(Sequence Parallel)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-10 7007
MegatronLM的第三篇论文是2022年出的。在大模型训练过程中显存占用过大往往成为瓶颈，一般会通过recomputation重计算的方式降低显存占用，但会带来额外的计算代价。这篇论文提出了两种方法，分别是和，这两种方法和Tensor并行是可以相结合的，可以有效减少不必要的计算量。下图中绿色部分表示不同模型中需要用于保存activation需要的显存大小，蓝色部分表示不同模型中需要用于保存parameter和optimizer state需要的显存大小。红色线表示A100的显存大小80G。
Megatron-Deepspeed 预训练 GPT-小白踩坑与解决
Chenql716的博客
11-02 9975
Megatron deepspeed 实现对 gpt 的预训练
Hugging Face高效训练技术四：多GPU分布式训练（DP、PP、TP 、ZeRO）
qq_56591814的博客
11-02 7430
介绍了主要的分布式训练策略：数据并行、模型并行、管道并行、张量并行和Zero
大语言模型（LLM）分布式训练框架总结
Paper weekly
05-08 2654
©PaperWeekly 原创 ·作者 |避暑山庄梁朝伟背景随着 ChatGPT 的火爆出圈，大模型也逐渐受到越来越多研究者的关注。有一份来自 OpenAI 的研究报告 (Scaling laws for neural language models) 曾经指出模型的性能常与模型的参数规模息息相关，那么如何训练一个超大规模的 LLM 也是大家比较关心的问题，常用的分布式训练框架有 Megatr...
【用大模型提示工程处理NLP任务】
一休
10-12 141
以下是一些典型的任务和最佳实践提示，帮助您更好地使用 Batch API。从大量文本中提取结构化信息，如：命名实体识别（NER）、关系抽取、事件抽取等。将大量文本数据分类到预定义类别中，如：新闻分类和垃圾邮件检测等。利用语言模型大批量生成文本内容，如：撰写SEO文章、小说创作等。大规模的文本翻译任务，将文本从一种语言翻译成另一种语言。识别和分析文本中的情感倾向，如：正面、负面或中性情感。处理和分析大量文档，如：文档摘要生成、关键信息提取等。自动检测和纠正大批量文本中的拼写错误、语法错误等。
论文阅读笔记-How to Fine-Tune BERT for Text Classification?
mohen_777的博客
10-06 987
预训练语言模型BERT的最后一层较于其他层来说更加有助于分类合适的学习率和层宽有助于BERT的catastrophic forgetting使用任务语料或者同域语料进行further pre-training效果更好哦是在任务语料太少，混入跨领域数据也可，但是效果并不明显哦。
利用GPU的OpenCL和MLC-LLM框架运行小语言模型-地瓜RDK X5开发板-非量产算法仅供整活
最新发布
吴超的博客
10-12 719
百分之零的BPU占用，几乎百分之零的CPU占用，将主要计算资源保留给主要算法。采用int4量化，内存和带宽占用理论上int8量化的一半，空余内存4.1GB。采用GPU作为计算部件，摸着通用计算的尾巴。理论上，可以使用X5的这颗支持OpenCL的GPU运行HuggingFace上面的任何模型。所有涉及的代码仓库或者模型权重均为Apache 2.0协议开源。
【自然语言处理】（3） --RNN循环神经网络
m0_74896766的博客
10-09 1435
本篇介绍了： 1. 传统神经网络的每个输入层之间是没有建立关系的，无法训练出具有顺序的数据。 2. RNN的基本结构，保留之前输入的信息并继续作为后续输入的一部分进行计算。 3. 重要特点：RNN看起来像是一个多层的前馈神经网络，但每一层的权重是共享的，每层的U、W、b是一样的。 4. 局限：梯度会随着时间的推移不断下降减少，而当梯度值变得非常小时，就不会继续学习。
【AI自然语言处理应用】通义晓蜜CCAI
segwy的博客
10-06 1172
通义晓蜜-Turbo（默认）、通义晓蜜-Plus（可选择）。选择指令模板，可以选择直接使用官方预置模板，当前线上提供了总结摘要、信息抽取、服务质检、标签分类-含子标签、标签分类-不含子标签、多指令任务六种官方预置模板，共五类模板。同时支持自定义指令模板，或在官方预置模板基础上自定义修改后的指令模板。在自定义编写指令信息或者自定义修改系统行业示例后，可以点击“保存指令模板”按钮，进行保存，选择指令模板保存方式，可选【新增指令模板、覆盖已有指令模板】，在“指令模板管理”中可以查看。
使用 Stata 调用本地部署的大语言模型进行文本主要内容提取——历年政府工作报告中的经济增长目标提取
python12345678_的博客
10-09 775
因此今天给大家分享一个新的方法。也就是通过部署在本地的大模型进行文本内容提取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值