LLM-预训练-Megatron-LM-学习笔记-02：深入理解 Megatron-LM（2）原理介绍

已于 2024-02-14 13:14:03 修改
阅读量7.2k 收藏 17
点赞数 17
分类专栏： 图神经网络 # LLM/预训练&SFT 文章标签： megatron
于 2023-11-26 01:12:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/134623129
版权
本文详细介绍了张量模型并行（Tensor Model Parallelism）的原理，包括行并行和列并行，以及在Transformer中的应用。同时，探讨了流水线模型并行（Pipeline Model Parallelism）和混合并行设置，分析了不同并行方式对通信成本和计算效率的影响。通过Megatron-LM，阐述了如何在大规模语言模型训练中利用这些技术提高性能。
摘要由CSDN通过智能技术生成

本篇文章对张量模型并行、流水线模型并行的原理进行简单介绍。

一、张量模型并行（Tensor Model Parallelism）

1、原理

这里通过 GEMM 来看看如何进行模型并行，这里要进行的是 X A = Y XA = Y XA=

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 17
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】
u013250861的博客
10-22 1294
数据并行模式涉及在每个Worker上复制整个模型，这样每个Worker都会有一个完整模型的副本。输入数据集被分成多个片段，一个训练小批量数据会被分配给多个Worker；Worker定期聚合它们的梯度，以确保所有Worker看到的是一个一致的模型权重版本。对于无法放进单个Worker的大模型，可以在模型的较小片段上使用数据并行。在一定点之后，每个GPU的批量大小变得太小，这会降低GPU的利用率，并增加通信成本。可用于训练的GPU设备数量受到批量大小的限制，这限制了可以使用的最大设备数。
LLM-预训练：深入理解 Megatron-LM（5）张量并行
u013250861的博客
10-22 698
通过注释，可以看出- -| A_1 || . || . || A_p |- -Arguments:again.to zero."""MLP 并行总结一下MLPMLP由一个接上一个完成的。是对权重进行列切分是对权重进行行切分。其中的 �1,�2没有经过 all-gather 操作，而是直接输入到了之中，接到了的 �1,�2。具体如下图以上就是对模型并行实现的分析。
LLM分布式训练 --- Megatron-LM
摩登都市天空---专栏
08-26 9415
数据并行模式会在每个worker之上复制一份模型，这样每个worker都有一个完整模型的副本。输入数据集是分片的，一个训练的小批量数据将在多个worker之间分割；worker定期汇总它们的梯度，以确保所有worker看到一个一致的权重版本。对于无法放进单个worker的大型模型，人们可以在模型之中较小的分片上使用数据并行。a）超过某一个点之后，每个GPU的batch size变得太小，这降低了GPU的利用率，增加了通信成本；
【LLM工程篇】deepspeed | Megatron-LM | fasttransformer
发现问题，并解决问题，批判性思维
09-19 4154
当前比较主流的一些分布式计算框架 DeepSpeed、Megatron 等，都在降低显存方面做了很多优化工作，比如：量化、模型切分、混合精度计算、Memory Offload 等 文章目录 note 大模型参数计算 1. 模型参数单位 2. 训练显存计算 3. 推理显存计算 大模型的分布式训练 1. 数据并行 2. 模型并行 3. 流水并行 4. 混合并行 模型量化 DeepSpeed ZeRO：零冗余优化 DeepSpeed Chat fastertransformer：LLM推理加速引擎 Megatro
【论文阅读】Megatron-LM要点
m0_37477175的博客
06-05 1635
本文主要是对李沐老师的b站分享做一下自己的理解和总结。模型结构无非就是那样，相比而言，想要训练更大的模型而又能平稳进行，是一项非常高超的技术！nvidia跟gpipe类似，也是模型并行，但是在任务切割上面跟gpipe不一样。gpipe： transformer也可以，cnn也可以，比较通用的方式。把不同的层放到不同的gpu，加入数据并行，成为流水线并行。Megatron-LM：只针对特别大的使用transformer的语言模型，层中间切开，然后放到不同的gpu上。
详解MegatronLM序列模型并行训练(Sequence Parallel)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-10 6494
MegatronLM的第三篇论文是2022年出的。在大模型训练过程中显存占用过大往往成为瓶颈，一般会通过recomputation重计算的方式降低显存占用，但会带来额外的计算代价。这篇论文提出了两种方法，分别是和，这两种方法和Tensor并行是可以相结合的，可以有效减少不必要的计算量。下图中绿色部分表示不同模型中需要用于保存activation需要的显存大小，蓝色部分表示不同模型中需要用于保存parameter和optimizer state需要的显存大小。红色线表示A100的显存大小80G。
大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行
热门推荐
结构之法 算法之道
08-24 2万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
LLM-202210：GLM【开源双语预训练语言模型】
u013250861的博客
05-08 924
在本文中，我们介绍了100B规模模型GLM-130B的预训练，包括工程上的努力、模型设计选择、为了效率和稳定性的训练策略、用于降低推理成本的量化。因为人们已经普遍意识到，枚举训练100B规模LLM的所有可能设计在计算资源上无法负担，因此我们不仅程序训练GLM-130B成功的部分，也介绍许多失败的选择来吸取经验。在我们尝试的过程中，我们逐渐意识到相比于训练10B的模型，训练一个100B以上的稠密LLM面临着许多意想不到的技术和工程的挑战，例如预训练效率、稳定性和收敛等。
LLM大模型综述
zh515858237的专栏
01-10 2万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
啃论文啦！！InternLM2 Technical Report 阅读笔记/精华提炼(一）
m0_67935007的博客
03-31 1260
下面是分条内容梗概，对某一块内容感兴趣的朋友可以直接点击目录跳转。1.LLM的进步：像CHATGPT和GPT-4这样的LLM的发展引发了关于通用人工智能（AgI）的讨论。然而，在开源模型中复制这些进步是具有挑战性的。2.InternLM2简介：本文介绍了InternLM2，它是一个开源的法学硕士，在各种评估中都优于其前身。3.性能指标：InternLM2已在6个维度和30个基准上进行了评估，包括长期环境建模和开放式主观评估。
大模型面试题总结
谢白羽
01-24 1370
一、大模型（LLMs）基础面 二、大模型（LLMs）进阶面 三、大模型（LLMs）微调面 四、大模型（LLMs）langchain面 1. 基于LLM+向量库的文档对话 基础面 2. 基于LLM+向量库的文档对话 优化面 3. LangChain的概念面试问题 4.LangChain的一些模块提问 5.LangChain的业务提问 6.LangChain的问题解决 五、LoRA、QLoRA、AdaLoRA篇 六、Fine tune 1）基础概念 2）为什么需要 P-tuning v2？ 3）为什么需要 P-
大语言模型（LLM）分布式训练框架总结
Paper weekly
05-08 2583
©PaperWeekly 原创 ·作者 |避暑山庄梁朝伟背景随着 ChatGPT 的火爆出圈，大模型也逐渐受到越来越多研究者的关注。有一份来自 OpenAI 的研究报告 (Scaling laws for neural language models) 曾经指出模型的性能常与模型的参数规模息息相关，那么如何训练一个超大规模的 LLM 也是大家比较关心的问题，常用的分布式训练框架有 Megatr...
java基于SpringBoot+vue 数字化农家乐管理平台系统源码 带毕业论文
09-12
1、开发环境：SpringBoot框架；内含Mysql数据库；VUE技术；内含说明文档 2、需要项目部署的可以私信 3、项目代码都经过严格调试，代码没有任何bug！ 4、该资源包括项目的全部源码，下载可以直接使用！ 5、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 6、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。
java基于SpringBoot+vue 校园健康驿站管理系统源码 带毕业论文
09-12
1、开发环境：SpringBoot框架；内含Mysql数据库；VUE技术；内含说明文档 2、需要项目部署的可以私信 3、项目代码都经过严格调试，代码没有任何bug！ 4、该资源包括项目的全部源码，下载可以直接使用！ 5、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 6、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。
基于springboot的学习平台设计与实现.docx
09-12
基于springboot的学习平台设计与实现.docx
java基于SpringBoot+vue 乡村政务办公系统源码 带毕业论文
最新发布
09-12
1、开发环境：SpringBoot框架；内含Mysql数据库；VUE技术；内含说明文档 2、需要项目部署的可以私信 3、项目代码都经过严格调试，代码没有任何bug！ 4、该资源包括项目的全部源码，下载可以直接使用！ 5、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 6、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。
21级护理专升本1班 陈婕 21150201059.docx
09-12
21级护理专升本1班 陈婕 21150201059
ubuntu安装anaconda.docx
09-12
在Ubuntu上安装Anaconda通常有几种方法，包括使用Anaconda的官方安装脚本、通过Conda安装或手动下载安装包。以下是使用官方安装脚本安装Anaconda的步骤： 1. **打开终端**：首先，你需要打开Ubuntu的终端。 2. **下载安装脚本**：Anaconda提供了一个安装脚本，你可以通过`wget`或`curl`命令下载并运行它。以下是使用`wget`的示例命令： ```bash wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh ``` 或者，如果你使用`curl`： ```bash curl -O https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh ``` 注意：上述URL中的`2022.05`是Anaconda的版本号，你可以根据需要替换为最新的版本。 3. **更改安装脚本权限**：下载完成后，你需要给脚本文件添加
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值