LLM-预训练：深入理解 Megatron-LM（5）张量并行

最新推荐文章于 2024-10-12 21:56:03 发布
最新推荐文章于 2024-10-12 21:56:03 发布
阅读量715 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133978677
版权
本文深入探讨NVIDIA的Megatron-LM框架，特别是张量并行在Transformer层、ParallelMLP层和ColumnParallelLinear、RowParallelLinear中的应用。通过分析代码，揭示了如何利用张量并行有效训练大规模语言模型，降低内存需求并提高计算效率。
摘要由CSDN通过智能技术生成
最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。

Megatron-LM 代码版本：23.06

https://github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron

之前的系列文章：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】
u013250861的博客
10-22 1312
数据并行模式涉及在每个Worker上复制整个模型，这样每个Worker都会有一个完整模型的副本。输入数据集被分成多个片段，一个训练小批量数据会被分配给多个Worker；Worker定期聚合它们的梯度，以确保所有Worker看到的是一个一致的模型权重版本。对于无法放进单个Worker的大模型，可以在模型的较小片段上使用数据并行。在一定点之后，每个GPU的批量大小变得太小，这会降低GPU的利用率，并增加通信成本。可用于训练的GPU设备数量受到批量大小的限制，这限制了可以使用的最大设备数。
LLM-预训练-Megatron-LM-学习笔记-02：深入理解 Megatron-LM（2）原理介绍
u013250861的博客
11-26 7306
本篇文章对张量模型并行、流水线模型并行的原理进行简单介绍。
[Arxiv 2019] Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
连理o的博客
09-27 520
[Arxiv 2019] Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
LLM分布式训练 --- Megatron-LM
热门推荐
摩登都市天空---专栏
08-26 1万+
数据并行模式会在每个worker之上复制一份模型，这样每个worker都有一个完整模型的副本。输入数据集是分片的，一个训练的小批量数据将在多个worker之间分割；worker定期汇总它们的梯度，以确保所有worker看到一个一致的权重版本。对于无法放进单个worker的大型模型，人们可以在模型之中较小的分片上使用数据并行。a）超过某一个点之后，每个GPU的batch size变得太小，这降低了GPU的利用率，增加了通信成本；
【LLM工程篇】deepspeed | Megatron-LM | fasttransformer
发现问题，并解决问题，批判性思维
09-19 4292
当前比较主流的一些分布式计算框架 DeepSpeed、Megatron 等，都在降低显存方面做了很多优化工作，比如：量化、模型切分、混合精度计算、Memory Offload 等 文章目录 note 大模型参数计算 1. 模型参数单位 2. 训练显存计算 3. 推理显存计算 大模型的分布式训练 1. 数据并行 2. 模型并行 3. 流水并行 4. 混合并行 模型量化 DeepSpeed ZeRO：零冗余优化 DeepSpeed Chat fastertransformer：LLM推理加速引擎 Megatro
【论文阅读】Megatron-LM要点
m0_37477175的博客
06-05 1661
本文主要是对李沐老师的b站分享做一下自己的理解和总结。模型结构无非就是那样，相比而言，想要训练更大的模型而又能平稳进行，是一项非常高超的技术！nvidia跟gpipe类似，也是模型并行，但是在任务切割上面跟gpipe不一样。gpipe： transformer也可以，cnn也可以，比较通用的方式。把不同的层放到不同的gpu，加入数据并行，成为流水线并行。Megatron-LM：只针对特别大的使用transformer的语言模型，层中间切开，然后放到不同的gpu上。
LLM-预训练：深入理解 Megatron-LM（3）代码结构
u013250861的博客
10-22 152
以上介绍了 Megatron-LM 代码的整体结构，下一篇介绍模型并行的实现。简枫：深入理解 Megatron-LM（4）模型并行实现20 赞同 · 0 评论文章​编辑简枫：深入理解 Megatron-LM（5）并行设置10 赞同 · 0 评论文章​编辑。
LLM-预训练：深入理解 Megatron-LM（4）并行设置
u013250861的博客
10-22 169
以上就是对并行设置的分析。下一篇我们重点看下模型并行的内容。简枫：深入理解 Megatron-LM（5）张量并行20 赞同 · 0 评论文章​编辑。
大语言模型（LLM）分布式训练框架总结
Paper weekly
05-08 2654
©PaperWeekly 原创 ·作者 |避暑山庄梁朝伟背景随着 ChatGPT 的火爆出圈，大模型也逐渐受到越来越多研究者的关注。有一份来自 OpenAI 的研究报告 (Scaling laws for neural language models) 曾经指出模型的性能常与模型的参数规模息息相关，那么如何训练一个超大规模的 LLM 也是大家比较关心的问题，常用的分布式训练框架有 Megatr...
【用大模型提示工程处理NLP任务】
一休
10-12 128
以下是一些典型的任务和最佳实践提示，帮助您更好地使用 Batch API。从大量文本中提取结构化信息，如：命名实体识别（NER）、关系抽取、事件抽取等。将大量文本数据分类到预定义类别中，如：新闻分类和垃圾邮件检测等。利用语言模型大批量生成文本内容，如：撰写SEO文章、小说创作等。大规模的文本翻译任务，将文本从一种语言翻译成另一种语言。识别和分析文本中的情感倾向，如：正面、负面或中性情感。处理和分析大量文档，如：文档摘要生成、关键信息提取等。自动检测和纠正大批量文本中的拼写错误、语法错误等。
论文阅读笔记-How to Fine-Tune BERT for Text Classification?
mohen_777的博客
10-06 987
预训练语言模型BERT的最后一层较于其他层来说更加有助于分类合适的学习率和层宽有助于BERT的catastrophic forgetting使用任务语料或者同域语料进行further pre-training效果更好哦是在任务语料太少，混入跨领域数据也可，但是效果并不明显哦。
利用GPU的OpenCL和MLC-LLM框架运行小语言模型-地瓜RDK X5开发板-非量产算法仅供整活
最新发布
吴超的博客
10-12 695
百分之零的BPU占用，几乎百分之零的CPU占用，将主要计算资源保留给主要算法。采用int4量化，内存和带宽占用理论上int8量化的一半，空余内存4.1GB。采用GPU作为计算部件，摸着通用计算的尾巴。理论上，可以使用X5的这颗支持OpenCL的GPU运行HuggingFace上面的任何模型。所有涉及的代码仓库或者模型权重均为Apache 2.0协议开源。
【自然语言处理】（3） --RNN循环神经网络
m0_74896766的博客
10-09 1431
本篇介绍了： 1. 传统神经网络的每个输入层之间是没有建立关系的，无法训练出具有顺序的数据。 2. RNN的基本结构，保留之前输入的信息并继续作为后续输入的一部分进行计算。 3. 重要特点：RNN看起来像是一个多层的前馈神经网络，但每一层的权重是共享的，每层的U、W、b是一样的。 4. 局限：梯度会随着时间的推移不断下降减少，而当梯度值变得非常小时，就不会继续学习。
【AI自然语言处理应用】通义晓蜜CCAI
segwy的博客
10-06 1170
通义晓蜜-Turbo（默认）、通义晓蜜-Plus（可选择）。选择指令模板，可以选择直接使用官方预置模板，当前线上提供了总结摘要、信息抽取、服务质检、标签分类-含子标签、标签分类-不含子标签、多指令任务六种官方预置模板，共五类模板。同时支持自定义指令模板，或在官方预置模板基础上自定义修改后的指令模板。在自定义编写指令信息或者自定义修改系统行业示例后，可以点击“保存指令模板”按钮，进行保存，选择指令模板保存方式，可选【新增指令模板、覆盖已有指令模板】，在“指令模板管理”中可以查看。
谷歌-BERT-第四步：模型部署
深度安全实验室
10-12 48
谷歌-BERT-第四步：模型部署
一款集大语言模型与RAG技术于一体的开源知识库问答系统
yunmoon的博客
10-09 455
MaxKB（Max Knowledge Base）是由飞致云FIT2CLOUD团队开发的基于大语言模型和RAG（检索增强生成）技术的开源知识库问答系统。MaxKB旨在通过智能化的问答交互方式，为企业提供高效、便捷的知识检索与利用体验。无论是在企业内部知识库建设、客户服务优化，还是在学术研究与教育等领域，MaxKB都能展现出其独特的价值与魅力。
谷歌-BERT-第一步：模型下载
深度安全实验室
10-12 489
谷歌-BERT-第一步：模型下载
谷歌-BERT-第二步：模型使用
深度安全实验室
10-12 287
谷歌-BERT-第二步：模型使用
llm-medical-data：大模型微调训练专用医疗数据集
资源摘要信息: "llm-medical-data用于大模型微调训练的医疗数据集_llm-medical-data.zip" 该压缩文件包含了一个名为“llm-medical-data-main”的文件夹，这个文件夹内存储的是一个专门为大模型微调训练设计的医疗...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值