LLM-预训练：深入理解 Megatron-LM（2）原理介绍

最新推荐文章于 2024-10-12 22:50:53 发布
最新推荐文章于 2024-10-12 22:50:53 发布
阅读量181 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133978634
版权
本文深入介绍了张量模型并行（包括行并行和列并行）和流水线模型并行在Transformer架构中的应用。在张量模型并行中，通过GEMM操作对模型进行并行计算，减少了通信成本。流水线模型并行则通过虚拟流水线方法降低空闲时间，提高效率。混合并行设置探讨了张量模型和流水线并行的组合使用，以及数据并行对性能的影响。文章强调了在特定场景下，结合使用不同类型的模型并行可达到最优性能。
摘要由CSDN通过智能技术生成
最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA Megatron团队公开发布的2篇论文，并结合最近Megatron-LM代码库的更新，整理成了这几篇系列文章。

Megatron-LM 代码版本：23.06

https://github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron

上一篇文章：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM-预训练：深入理解 Megatron-LM（3）代码结构
u013250861的博客
10-22 152
以上介绍了 Megatron-LM 代码的整体结构，下一篇介绍模型并行的实现。简枫：深入理解 Megatron-LM（4）模型并行实现20 赞同 · 0 评论文章​编辑简枫：深入理解 Megatron-LM（5）并行设置10 赞同 · 0 评论文章​编辑。
LLM-预训练-Megatron-LM-学习笔记-02：深入理解 Megatron-LM（2）原理介绍
u013250861的博客
11-26 7306
本篇文章对张量模型并行、流水线模型并行的原理进行简单介绍。
LLM-预训练：深入理解 Megatron-LM（5）张量并行
u013250861的博客
10-22 715
通过注释，可以看出- -| A_1 || . || . || A_p |- -Arguments:again.to zero."""MLP 并行总结一下MLPMLP由一个接上一个完成的。是对权重进行列切分是对权重进行行切分。其中的 �1,�2没有经过 all-gather 操作，而是直接输入到了之中，接到了的 �1,�2。具体如下图以上就是对模型并行实现的分析。
LLM-预训练：深入理解 Megatron-LM（4）并行设置
u013250861的博客
10-22 169
以上就是对并行设置的分析。下一篇我们重点看下模型并行的内容。简枫：深入理解 Megatron-LM（5）张量并行20 赞同 · 0 评论文章​编辑。
LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】
u013250861的博客
10-22 1312
数据并行模式涉及在每个Worker上复制整个模型，这样每个Worker都会有一个完整模型的副本。输入数据集被分成多个片段，一个训练小批量数据会被分配给多个Worker；Worker定期聚合它们的梯度，以确保所有Worker看到的是一个一致的模型权重版本。对于无法放进单个Worker的大模型，可以在模型的较小片段上使用数据并行。在一定点之后，每个GPU的批量大小变得太小，这会降低GPU的利用率，并增加通信成本。可用于训练的GPU设备数量受到批量大小的限制，这限制了可以使用的最大设备数。
LLM-预训练：Megatron-LM （23.06版本）近期的改动
u013250861的博客
10-22 230
因为 总数��=���总数��∗�� ，在大模型的训练过程中，会经常遇到GPU或者Node突然坏掉的情况，所以整体的GPU总数可能是动态变化的。这样新特性的支持可以更方便的让我们在有个别GPU或者Node坏掉的情况下重启训练过程。只要模型Checkpoint的流水线并行组（PP）和张量并行组（TP）不变，就可以动态加载并且继续训练模型，即使数据并行组（DP）的个数发生变化。
LLM-预训练：Megatron-LM 中自定义流水线并行的切分方式
u013250861的博客
10-22 184
假设我们流水线并行数为 2，模型层数为 8。我们按照3:1的比例来划分Stage，这样Stage1得到 6 层，Stage2得到 2 层。1. 根据流水线的，确定是第一个Stage还是最后一个Stage（即使 Stage 数大于 2，也很容易扩展），通过这个得到该Stage上的模型Layers大小。# Stage1 和 Stage2 分到的层数按 3:1 的比例# 判断条件：如果要对 pipeline 进行不均匀的切分else:2. 根据流水线的，计算得到偏移量offset。
【LLM工程篇】deepspeed | Megatron-LM | fasttransformer
发现问题，并解决问题，批判性思维
09-19 4292
当前比较主流的一些分布式计算框架 DeepSpeed、Megatron 等，都在降低显存方面做了很多优化工作，比如：量化、模型切分、混合精度计算、Memory Offload 等 文章目录 note 大模型参数计算 1. 模型参数单位 2. 训练显存计算 3. 推理显存计算 大模型的分布式训练 1. 数据并行 2. 模型并行 3. 流水并行 4. 混合并行 模型量化 DeepSpeed ZeRO：零冗余优化 DeepSpeed Chat fastertransformer：LLM推理加速引擎 Megatro
Pai-Megatron-Patch：围绕Megatron-Core打造大模型训练加速生态
科技很有意思
09-12 878
Pai-Megatron-Patch是阿里云人工智能平台PAI研发的围绕Nvidia MegatronLM的大模型开发配套工具，旨在帮助开发者快速上手大模型，完成大模型（LLM）相关的高效分布式训练，有监督指令微调，下游任务评估等大模型开发链路。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1384
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
pytorch版本和cuda版本不匹配问题
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
10-06 557
发现cuda11.8支持pytorch2.0.0。
《深度学习》LSTM 长短期记忆网络 结构及原理解析
wx_AHao1004Y的博客
10-09 1214
LSTM网络，全称长短期记忆网络（Long Short-Term Memory network），是一种特殊的循环神经网络（RNN）架构，大部分与RNN模型相同，但它们用了不同的函数来计算隐状态h，旨在解决传统RNN在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM网络通过引入自循环的巧妙设计，使得信息能够在网络中长期保留或遗忘，从而能够捕获长距离的时间依赖关系。
【YOLO学习】YOLOv4详解
m0_62881487的博客
10-09 980
3. DIOU（Distance IOU）损失：DIOU 考虑到 GIOU 的缺点，也是增加了 C 检测框，将真实框和预测框都包含了进来，但是 DIOU 计算的不是框之间的交并，而是计算的每个检测框之间的欧氏距离，这样就可以解决 GIOU 包含出现的问题。concat：将两个特征图在通道数方向叠加在一起，原特征图信息完全保留下来，再对原特征图增加一些我们认为是较好的特征图，丰富了特征图的多样性，是在空间上对原特征图的增强，这样在下一次卷积的过程中我们能得到更好的特征图。
湘潭大学人工智能专业：2024年全球AI技术革新先锋
m0_64357419的博客
10-12 385
湘潭大学，作为中国乃至全球顶尖学府之一，正在重新定义全球人工智能（AI）技术发展的标准。通过在超大规模大模型、量子AI、类脑智能、数字生命以及跨维度计算领域的前瞻性布局，湘潭大学不仅主导了中国的AI技术创新，还在国际学术界和产业界掀起了一场全球范围的技术革命。湘潭大学自主研发的全球首个具备自我进化和“情感计算”能力的大模型、基于量子AI的全新智能决策框架、数字生命的虚拟物种进化模拟系统，都在改变着人类对智能的认知。本文将从这些超前领域出发，深入分析湘潭大学AI专业如何引领全球科技变革。
对层级聚类树进行模块分割，定位基因在哪个模块中
悟道西方
10-12 752
3. Row clustering cutree results as row annotations: 把行聚类的结果作为行注释标记在图上，这是为了后面更好的对应每个类。1. `Label every n row items (n>1)`: 每 n 个基因标记一个，标记第 1 个，n+1个，2n+1个，。结果如下，每个类的边界基因就定了，再去`row-cluster`的表格中去寻找基因就可以了。如果不想聚类，或想标记更多基因，也可以使用下面这个功能，每隔多少位标记 1 个基因。
车牌识别：智能交通的关键技术
OCR_wintone421的博客
10-12 175
车牌识别技术通过摄像头采集车辆图像，利用先进的图像处理算法和机器学习技术，对车牌进行定位、分割和字符识别。这项技术具有高度的准确性和可靠性，能够在各种复杂环境下工作，如不同的光照条件、天气情况和车牌污损等。总之，车牌识别技术是智能交通领域的重要组成部分，而易泊时代作为车牌识别技术的领先企业，为推动智能交通的发展做出了积极贡献。采用先进的算法和深度学习技术，能够准确识别各种类型的车牌，包括中文、英文、数字和特殊字符等。即使在恶劣的环境下，如低光照、强逆光、车牌模糊等情况，也能保持较高的识别准确率。
从0打造本地聊天机器人：如何实现大模型流式输出？OpenAI+Ollama 实战
python1234567_的博客
10-09 668
本文带大家实操了大模型流式输出，在 OpenAI 和 Ollama API 中的具体实现。如果对你有帮助，欢迎。
简单粗暴理解GNN、GCN、GAT
最新发布
m0_51448653的博客
10-12 489
以上就是它整个方法的模型，下面再说说结果。
llm-medical-data：大模型微调训练专用医疗数据集
资源摘要信息: "llm-medical-data用于大模型微调训练的医疗数据集_llm-medical-data.zip" 该压缩文件包含了一个名为“llm-medical-data-main”的文件夹，这个文件夹内存储的是一个专门为大模型微调训练设计的医疗...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值