LLM-预训练：深入理解 Megatron-LM（3）代码结构

最新推荐文章于 2024-09-09 12:49:05 发布
最新推荐文章于 2024-09-09 12:49:05 发布
阅读量140 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133978653
版权
本文详细介绍了 Megatron-LM 的代码结构，包括程序启动、预训练过程、初始化、模型设置、数据并行及训练过程。重点讲解了分布式启动、模型并行、数据并行的实现细节，以及训练主函数和schedule的获取。通过对 Megatron-LM 的源码分析，读者可以深入理解大型语言模型的训练机制。
摘要由CSDN通过智能技术生成
最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。

Megatron-LM 代码版本：23.06

https://github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron

之前的系列文章：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】
u013250861的博客
10-22 1291
数据并行模式涉及在每个Worker上复制整个模型，这样每个Worker都会有一个完整模型的副本。输入数据集被分成多个片段，一个训练小批量数据会被分配给多个Worker；Worker定期聚合它们的梯度，以确保所有Worker看到的是一个一致的模型权重版本。对于无法放进单个Worker的大模型，可以在模型的较小片段上使用数据并行。在一定点之后，每个GPU的批量大小变得太小，这会降低GPU的利用率，并增加通信成本。可用于训练的GPU设备数量受到批量大小的限制，这限制了可以使用的最大设备数。
LLM-预训练：深入理解 Megatron-LM（5）张量并行
u013250861的博客
10-22 695
通过注释，可以看出- -| A_1 || . || . || A_p |- -Arguments:again.to zero."""MLP 并行总结一下MLPMLP由一个接上一个完成的。是对权重进行列切分是对权重进行行切分。其中的 �1,�2没有经过 all-gather 操作，而是直接输入到了之中，接到了的 �1,�2。具体如下图以上就是对模型并行实现的分析。
LLM-预训练：深入理解 Megatron-LM（2）原理介绍
u013250861的博客
10-22 174
在节点内部（如DGX A100服务器），张量模型的并行性表现最佳，因为这可以降低通信量。另一方面，流水线模型并行性采用更经济的点对点通信方式，可以跨节点执行，而不会受到整个计算的限制。然而，流水线并行性可能会在流水线“气泡”中消耗大量时间，因此应该限制流水线的总数，以确保流水线中微批次（micro-batches）的数量是流水线深度的合理倍数。因此，当张量模型的并行大小等于单个节点中GPU的数量（例如DGX A100有8个GPU的节点）时，性能会达到峰值。
LLM-预训练：深入理解 Megatron-LM（4）并行设置
u013250861的博客
10-22 158
以上就是对并行设置的分析。下一篇我们重点看下模型并行的内容。简枫：深入理解 Megatron-LM（5）张量并行20 赞同 · 0 评论文章​编辑。
LLM-预训练：Megatron-LM 中自定义流水线并行的切分方式
u013250861的博客
10-22 170
假设我们流水线并行数为 2，模型层数为 8。我们按照3:1的比例来划分Stage，这样Stage1得到 6 层，Stage2得到 2 层。1. 根据流水线的，确定是第一个Stage还是最后一个Stage（即使 Stage 数大于 2，也很容易扩展），通过这个得到该Stage上的模型Layers大小。# Stage1 和 Stage2 分到的层数按 3:1 的比例# 判断条件：如果要对 pipeline 进行不均匀的切分else:2. 根据流水线的，计算得到偏移量offset。
LLM-202210：GLM【开源双语预训练语言模型】
u013250861的博客
05-08 921
在本文中，我们介绍了100B规模模型GLM-130B的预训练，包括工程上的努力、模型设计选择、为了效率和稳定性的训练策略、用于降低推理成本的量化。因为人们已经普遍意识到，枚举训练100B规模LLM的所有可能设计在计算资源上无法负担，因此我们不仅程序训练GLM-130B成功的部分，也介绍许多失败的选择来吸取经验。在我们尝试的过程中，我们逐渐意识到相比于训练10B的模型，训练一个100B以上的稠密LLM面临着许多意想不到的技术和工程的挑战，例如预训练效率、稳定性和收敛等。
LLM大模型入门教程：llm-action：让天下没有难学的大模型
2401_82469710的博客
06-27 1175
今天给大家推荐这个大模型入门学习项目，实在是太香了太香了，目前该项目已经超过1100星，具体的文章分类如下所示。
LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-26 2262
​ LLM之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻译与解读 目录 《FLM-101B: An Open LLM and How to Train It with $100K Budget》翻译与解读 Abstract摘要 1 Introduction引言 2 Design Overview of FLM-101B—FLM-1
大型视觉语言模型的有效性评估
qq_53795212的博客
09-06 966
第 2 节评估了 MiniGPTv2 [4]、LLaVA-1.5 [8] 和 Shikra [9] 在各种专业任务中的识别性能。其中，LLaVA-1.5 通常在存在判定和对象分类方面表现出更好的识别能力。然而，定量分析表明，虽然这些模型在没有特定领域微调的情况下在各种专门任务中表现出了一定的认知能力，但它们的识别性能还需要进一步提高。当直接应用于这些任务时，它们对专业领域的认知和理解仍然有限。
大语言模型(LLM)如何更好地继续预训练（Continue PreTraining）
python1234567_的博客
09-05 1264
预训练（Pretraining）是一个非常消耗资源的工作，尤其在 LLM 时代。随着LLama2的开源，越来越多人都开始尝试在这个强大的英文基座模型上进行中文增强。但，我们如何才能保证模型在既学到「中文知识」的情况下，又不丢掉原有的「英文知识」呢？今天给大家带来一篇 Continue Pretraining 的论文（来自何枝大佬，知乎@何枝），Continual Pre-Training of Large Language Models: How to (re)warm your model?
【机器学习】自然语言处理中的Transformer模型：深度解析与前沿发展
loveting99的博客
09-07 576
Transformer模型的提出标志着自然语言处理（NLP）领域的一场革命性变革。与传统的RNN（循环神经网络）和LSTM（长短期记忆网络）等依赖顺序传递的模型不同，Transformer完全抛弃了递归结构，采用了基于自注意力机制（Self-Attention）和全连接层的架构，极大提升了对长序列依赖的捕捉能力和计算效率。编码器（Encoder）和解码器（Decoder），两者通过多个堆叠的层实现对输入序列的编码和解码。
大语言模型LLM权重4bit向量量化(Vector Quantization)/查找表量化基本原理
LuchangLi 的专栏
09-06 1190
针对大语言模型权重的4bit量化，除了常规的广泛使用的group-wise均匀量化，如GPTQ, AWQ等等，苹果提出了一种称为Palettization的lookup table (LUT)查找表量化技术，高通也提出了新的一种向量量化技术，其实这两种技术原理基本上是相同的
基于视觉-语言模型的机器人任务规划：ViLaIn框架解析
python_plus的博客
09-05 748
本文介绍了ViLaIn框架如何通过视觉和语言模型生成符号化任务描述，并借助符号规划器为机器人生成可执行的任务计划。
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey
CSPhD-winston的博客
09-07 806
然而，当前还没有一项全面的、系统性的研究来深入讨论和定义这一问题。尽管有些研究认为这种现象是有益的 [12]，或不将其视为问题 [16]，但学术界的大多数研究认为，BDC对LLM评估的可靠性和有效性构成了重大挑战，削弱了对其输出的信任，阻碍了其在现实中的应用 [69, 83, 98, 119, 126, 178]。一些有前途的方案被提出，例如通过使用LLM重新生成基准数据 [158, 180, 181]，以减少BDC的影响，以及基准无关评估 [24, 87, 166]，试图避免完全依赖预定义的基准。
2025秋招NLP算法面试真题(十九)-大模型分布式训练题目
最新发布
weixin_41496173的博客
09-09 747
1. **计算资源需求**\*\*：\*\* 训练大型语言模型需要大量的计算资源，包括高端 GPU、大量的内存和高速存储器。这可能限制了许多研究人员和组织的训练能力，因为这些资源通常很昂贵。 2. **数据需求**\*\*：\*\* 训练大型语言模型需要大规模的数据集，这些数据集通常需要大量的标注和清洗工作。获取高质量的数据可能是一项困难和昂贵的任务。 3. **长时间训练**\*\*：\*\* 训练大型语言模型需要大量的时间。特别是对于巨型模型，训练可能需要数周甚至数月的时间，这增加了实验的时间和成
2025秋招NLP算法面试真题(十八)-大模型训练数据格式常见问题
weixin_41496173的博客
09-09 726
大模型训练数据格式常见问题
自然语言处理系列五十七》关键词提取和文本摘要》文本摘要介绍及相关算法
weixin_52610848的博客
09-04 1268
文本摘要是一种从一个或多个信息源中抽取关键信息的方法，它帮助用户节省了大量时间，用户可以从摘要获取到文本的所有关键信息点而无需阅读整个文档。16.2.1 文本摘要介绍及相关算法文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要方法是指针对单个文档，对其内容进行抽取总结生成摘要；多文档摘要方法是指从包含多份文档的文档集合中生成一份能够概括这些文档中心内容的摘要。按照输出类型可分为抽取式摘要和生成式摘要。抽取式摘要从源文档中抽取关键句和关键词组成摘要，摘要全部来源于原文。
NLP中文本预处理
Chujun123528的博客
09-06 802
文本处理是NLP中的基础且核心的部分，它涉及多个步骤和技术。通过文本预处理、文本表示以及常见的NLP任务等步骤，可以将原始文本数据转换为计算机可以理解和处理的数值形式，从而实现对文本数据的有效分析和利用。随着NLP技术的不断发展，文本处理的效率和效果也在不断提高，为人工智能领域的发展提供了有力的支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值