LLM-预训练：深入理解 Megatron-LM（4）并行设置

最新推荐文章于 2024-09-09 12:44:21 发布
最新推荐文章于 2024-09-09 12:44:21 发布
阅读量158 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133978664
版权
本文深入分析了NVIDIA的Megatron-LM框架中模型并行的实现，包括数据并行、张量并行和流水线并行。介绍了如何将模型切分并分配给不同GPU，探讨了并行策略、数据流管理和通信开销等问题，旨在理解并优化大规模语言模型的分布式训练。
摘要由CSDN通过智能技术生成
最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。

Megatron代码版本：23.06

https://github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron

之前的系列文章：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
LLM-预训练：深入理解 Megatron-LM（3）代码结构
u013250861的博客
10-22 140
以上介绍了 Megatron-LM 代码的整体结构，下一篇介绍模型并行的实现。简枫：深入理解 Megatron-LM（4）模型并行实现20 赞同 · 0 评论文章​编辑简枫：深入理解 Megatron-LM（5）并行设置10 赞同 · 0 评论文章​编辑。
LLM-预训练：深入理解 Megatron-LM（5）张量并行
u013250861的博客
10-22 695
通过注释，可以看出- -| A_1 || . || . || A_p |- -Arguments:again.to zero."""MLP 并行总结一下MLPMLP由一个接上一个完成的。是对权重进行列切分是对权重进行行切分。其中的 �1,�2没有经过 all-gather 操作，而是直接输入到了之中，接到了的 �1,�2。具体如下图以上就是对模型并行实现的分析。
LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】
u013250861的博客
10-22 1291
数据并行模式涉及在每个Worker上复制整个模型，这样每个Worker都会有一个完整模型的副本。输入数据集被分成多个片段，一个训练小批量数据会被分配给多个Worker；Worker定期聚合它们的梯度，以确保所有Worker看到的是一个一致的模型权重版本。对于无法放进单个Worker的大模型，可以在模型的较小片段上使用数据并行。在一定点之后，每个GPU的批量大小变得太小，这会降低GPU的利用率，并增加通信成本。可用于训练的GPU设备数量受到批量大小的限制，这限制了可以使用的最大设备数。
大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行
热门推荐
结构之法 算法之道
08-24 2万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
LLM-预训练：深入理解 Megatron-LM（2）原理介绍
u013250861的博客
10-22 174
在节点内部（如DGX A100服务器），张量模型的并行性表现最佳，因为这可以降低通信量。另一方面，流水线模型并行性采用更经济的点对点通信方式，可以跨节点执行，而不会受到整个计算的限制。然而，流水线并行性可能会在流水线“气泡”中消耗大量时间，因此应该限制流水线的总数，以确保流水线中微批次（micro-batches）的数量是流水线深度的合理倍数。因此，当张量模型的并行大小等于单个节点中GPU的数量（例如DGX A100有8个GPU的节点）时，性能会达到峰值。
LLM-预训练-Megatron-LM-学习笔记-02：深入理解 Megatron-LM（2）原理介绍
u013250861的博客
11-26 7283
本篇文章对张量模型并行、流水线模型并行的原理进行简单介绍。
LLM-预训练：Megatron-LM （23.06版本）近期的改动
u013250861的博客
10-22 211
因为 总数��=���总数��∗�� ，在大模型的训练过程中，会经常遇到GPU或者Node突然坏掉的情况，所以整体的GPU总数可能是动态变化的。这样新特性的支持可以更方便的让我们在有个别GPU或者Node坏掉的情况下重启训练过程。只要模型Checkpoint的流水线并行组（PP）和张量并行组（TP）不变，就可以动态加载并且继续训练模型，即使数据并行组（DP）的个数发生变化。
LLM分布式训练 --- Megatron-LM
摩登都市天空---专栏
08-26 9224
数据并行模式会在每个worker之上复制一份模型，这样每个worker都有一个完整模型的副本。输入数据集是分片的，一个训练的小批量数据将在多个worker之间分割；worker定期汇总它们的梯度，以确保所有worker看到一个一致的权重版本。对于无法放进单个worker的大型模型，人们可以在模型之中较小的分片上使用数据并行。a）超过某一个点之后，每个GPU的batch size变得太小，这降低了GPU的利用率，增加了通信成本；
LLM-预训练：Megatron-LM 中自定义流水线并行的切分方式
u013250861的博客
10-22 170
假设我们流水线并行数为 2，模型层数为 8。我们按照3:1的比例来划分Stage，这样Stage1得到 6 层，Stage2得到 2 层。1. 根据流水线的，确定是第一个Stage还是最后一个Stage（即使 Stage 数大于 2，也很容易扩展），通过这个得到该Stage上的模型Layers大小。# Stage1 和 Stage2 分到的层数按 3:1 的比例# 判断条件：如果要对 pipeline 进行不均匀的切分else:2. 根据流水线的，计算得到偏移量offset。
大型视觉语言模型的有效性评估
qq_53795212的博客
09-06 978
第 2 节评估了 MiniGPTv2 [4]、LLaVA-1.5 [8] 和 Shikra [9] 在各种专业任务中的识别性能。其中，LLaVA-1.5 通常在存在判定和对象分类方面表现出更好的识别能力。然而，定量分析表明，虽然这些模型在没有特定领域微调的情况下在各种专门任务中表现出了一定的认知能力，但它们的识别性能还需要进一步提高。当直接应用于这些任务时，它们对专业领域的认知和理解仍然有限。
大语言模型(LLM)如何更好地继续预训练（Continue PreTraining）
python1234567_的博客
09-05 1273
预训练（Pretraining）是一个非常消耗资源的工作，尤其在 LLM 时代。随着LLama2的开源，越来越多人都开始尝试在这个强大的英文基座模型上进行中文增强。但，我们如何才能保证模型在既学到「中文知识」的情况下，又不丢掉原有的「英文知识」呢？今天给大家带来一篇 Continue Pretraining 的论文（来自何枝大佬，知乎@何枝），Continual Pre-Training of Large Language Models: How to (re)warm your model?
文本分类场景下微调BERT
beingstrong的博客
09-07 885
论文《How to Fine-Tune BERT for Text Classification?》是2019年发表的一篇论文。这篇文章做了一些实验来分析了如何在文本分类场景下微调BERT，是网上讨论如何微调BERT时经常提到的论文。
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey
CSPhD-winston的博客
09-07 818
然而，当前还没有一项全面的、系统性的研究来深入讨论和定义这一问题。尽管有些研究认为这种现象是有益的 [12]，或不将其视为问题 [16]，但学术界的大多数研究认为，BDC对LLM评估的可靠性和有效性构成了重大挑战，削弱了对其输出的信任，阻碍了其在现实中的应用 [69, 83, 98, 119, 126, 178]。一些有前途的方案被提出，例如通过使用LLM重新生成基准数据 [158, 180, 181]，以减少BDC的影响，以及基准无关评估 [24, 87, 166]，试图避免完全依赖预定义的基准。
NLP中文本预处理
Chujun123528的博客
09-06 807
文本处理是NLP中的基础且核心的部分，它涉及多个步骤和技术。通过文本预处理、文本表示以及常见的NLP任务等步骤，可以将原始文本数据转换为计算机可以理解和处理的数值形式，从而实现对文本数据的有效分析和利用。随着NLP技术的不断发展，文本处理的效率和效果也在不断提高，为人工智能领域的发展提供了有力的支持。
2025秋招NLP算法面试真题(十八)-大模型训练数据格式常见问题
最新发布
weixin_41496173的博客
09-09 728
大模型训练数据格式常见问题
视觉语言模型（VLMs）知多少？
qianggezhishen的专栏
09-05 1156
视频理解能分析视频里的视觉信息，然后生成描述性的文本，捕捉视频要表达的精髓。VLMs就像是AI界的新宠，能搞定那些既需要看图又需要读文的活儿，比如给图片配文字、回答有关图片的问题，或者根据文字描述生成图片。不过，不同的模型可能会用不同的预训练策略。随着这个领域的不断发展，我们可以预见，未来会有更多更复杂的VLMs出现，它们能完成更艰巨的任务，还能给出有价值的见解。通过把这两部分结合起来，VLMs能干的事儿可多了，比如能给图片写出详细的描述，回答有关图片的问题，甚至根据文字描述生成全新的图片呢！
CMU 10423 Generative AI：lec3（Learning Large Language Models）
不精，不诚，不足以动人
09-06 1171
文件的主要内容是关于大型语言模型（LLMs）的学习过程，涵盖了预训练、微调和解码的各个方面。大型语言模型的学习框架：该讲义从深度学习和语言建模的基本概念出发，介绍了语言模型的训练步骤，包括如何计算梯度以及如何通过优化目标函数进行训练。递归神经网络（RNN）和Transformer模型：讲解了RNN语言模型和Transformer语言模型的工作原理，包括前向传播和反向传播算法，以及如何利用这些模型进行文本的生成和预测。损失函数和SGD训练。
使用bert_base_chinese实现文本语义相似度计算
立志成为炼丹师？
09-04 621
本文选择将模型下载到本地，进行离线分析计算，也可以使用在线下载，但本文略过。
深度解析Prompt-Tuning：微调新范式与应用探索
在本文中，我们将深度探讨Prompt-Tuning，这是...通过阅读这篇博客，读者将深入理解prompt的概念、其在不同场景下的应用策略，以及它如何推动了预训练语言模型的进化，从而为研究人员和实践者提供了宝贵的知识和洞见。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值