LLM-预训练：Megatron-LM （23.06版本）近期的改动

最新推荐文章于 2024-09-09 12:44:21 发布
最新推荐文章于 2024-09-09 12:44:21 发布
阅读量211 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133978713
版权
Megatron-LM的23.06版本发布，引入重大更新，包括对Rotary Positional Embedding和FlashAttention v1/v2的支持，改进了Zero并行下的partial checkpointing技术，并修复了模型保存/加载问题。此外，GPT模型的流水线并行实现进行了重构，现在支持在GPU总数动态变化时继续训练，提高了训练过程的鲁棒性。
摘要由CSDN通过智能技术生成

Megatron-LM 最新 release 的版本是 23.06：

https://github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron​github.com/NVIDIA/Megatron-LM/tree/23.06/megatron

相比之前的版本，有几个比较重大的更新，如下：

  • 增加了对 Rotary Positional Embedding 的支持。
  • 增加了对 FlashAttention v1 和 v2 的支持。
  • 在Zero并行的情况下（distributed-optimizer），增加了一些新的细粒度 partial checkpointing 的技术。
  • 修复了模型的 Checkpoint 保存/加载相关的问题。
  • Megatron-LM 中的 GPT 模型的
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
[论文笔记] pai-megatron-patch megatron 模型接着训练 继续训练 load checkpoint
心宝的博客
07-02 104
其中 checkpoint_path 中的 last_iteration_txt (好像是这个名字) 要改成自己需要的。继续训练的话，不要用megatron的检查点转换回hf模型。要直接 load megatron模型。
模型并行 | 大规模语言模型架构 Megatron
weixin_66945478的博客
08-16 6685
Megatron是NVIDIA提出的一种由于分布式训练大规模语言模型的架构，针对Transformer进行了专门的优化（也就是大矩阵乘法）。，主要提出了通过将矩阵分块提高并行度的方法。，对于分布式中的一些重要的设计，如tensor parallel、pipeline parallel、micro batch size等进行了一些分析与讨论。同时提出了更加精细的pipeline结构与communication模式。
Megatron-LM源码系列(四)：重计算(recompute)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
09-25 2618
Megatron-LM源码系列(四)：重计算(recompute)
【人工智能LLM】开源 LLM 大模型汇总以及微调策略
Spontaneous_0的博客
06-27 1145
自从ChatGPT出世以来，各个大厂/研究院都纷纷推出自己的大模型，大模型领域发展一日千里。随着“百模大战”热度的降低，有必要梳理一下目前主流的大模型以及其变种模型，为大家梳理一下当前开源模型的工作。
【大模型】开源大模型汇总以及微调策略
桐原因的博客
06-10 7525
自从ChatGPT出世以来，各个大厂/研究院都纷纷推出自己的大模型，大模型领域发展一日千里。随着“百模大战”热度的降低，有必要梳理一下目前主流的大模型以及其变种模型，回顾一下。注：汇总开源模型。
阿里云AIGC- 使用Megatron-Deepspeed训练GPT-2并生成文本
AI生成式技术曾小健
06-07 1264
本文介绍如何使用GPU云服务器，使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型，当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落，并且能在未经预训练的情况下，完成阅读理解、问答、机器翻译等多项不同的语言建模任务。GPT-2模型尤其在文本生成上有着惊艳的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们的预期。GPT-2模型由。
LLM-预训练-Megatron-LM-学习笔记-02：深入理解 Megatron-LM（2）原理介绍
u013250861的博客
11-26 7283
本篇文章对张量模型并行、流水线模型并行的原理进行简单介绍。
LLM-预训练：Megatron-LM 中自定义流水线并行的切分方式
u013250861的博客
10-22 170
假设我们流水线并行数为 2，模型层数为 8。我们按照3:1的比例来划分Stage，这样Stage1得到 6 层，Stage2得到 2 层。1. 根据流水线的，确定是第一个Stage还是最后一个Stage（即使 Stage 数大于 2，也很容易扩展），通过这个得到该Stage上的模型Layers大小。# Stage1 和 Stage2 分到的层数按 3:1 的比例# 判断条件：如果要对 pipeline 进行不均匀的切分else:2. 根据流水线的，计算得到偏移量offset。
LLM-预训练：深入理解 Megatron-LM（1）基础知识【TP并行策略用于一个服务器内；PP并行策略用于服务器之间；】
u013250861的博客
10-22 1291
数据并行模式涉及在每个Worker上复制整个模型，这样每个Worker都会有一个完整模型的副本。输入数据集被分成多个片段，一个训练小批量数据会被分配给多个Worker；Worker定期聚合它们的梯度，以确保所有Worker看到的是一个一致的模型权重版本。对于无法放进单个Worker的大模型，可以在模型的较小片段上使用数据并行。在一定点之后，每个GPU的批量大小变得太小，这会降低GPU的利用率，并增加通信成本。可用于训练的GPU设备数量受到批量大小的限制，这限制了可以使用的最大设备数。
LLM-预训练：深入理解 Megatron-LM（5）张量并行
u013250861的博客
10-22 695
通过注释，可以看出- -| A_1 || . || . || A_p |- -Arguments:again.to zero."""MLP 并行总结一下MLPMLP由一个接上一个完成的。是对权重进行列切分是对权重进行行切分。其中的 �1,�2没有经过 all-gather 操作，而是直接输入到了之中，接到了的 �1,�2。具体如下图以上就是对模型并行实现的分析。
Megatron-Deepspeed 预训练 GPT-小白踩坑与解决
Chenql716的博客
11-02 9853
Megatron deepspeed 实现对 gpt 的预训练
大型视觉语言模型的有效性评估
qq_53795212的博客
09-06 985
第 2 节评估了 MiniGPTv2 [4]、LLaVA-1.5 [8] 和 Shikra [9] 在各种专业任务中的识别性能。其中，LLaVA-1.5 通常在存在判定和对象分类方面表现出更好的识别能力。然而，定量分析表明，虽然这些模型在没有特定领域微调的情况下在各种专门任务中表现出了一定的认知能力，但它们的识别性能还需要进一步提高。当直接应用于这些任务时，它们对专业领域的认知和理解仍然有限。
大语言模型(LLM)如何更好地继续预训练（Continue PreTraining）
python1234567_的博客
09-05 1284
预训练（Pretraining）是一个非常消耗资源的工作，尤其在 LLM 时代。随着LLama2的开源，越来越多人都开始尝试在这个强大的英文基座模型上进行中文增强。但，我们如何才能保证模型在既学到「中文知识」的情况下，又不丢掉原有的「英文知识」呢？今天给大家带来一篇 Continue Pretraining 的论文（来自何枝大佬，知乎@何枝），Continual Pre-Training of Large Language Models: How to (re)warm your model?
文本分类场景下微调BERT
beingstrong的博客
09-07 894
论文《How to Fine-Tune BERT for Text Classification?》是2019年发表的一篇论文。这篇文章做了一些实验来分析了如何在文本分类场景下微调BERT，是网上讨论如何微调BERT时经常提到的论文。
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey
CSPhD-winston的博客
09-07 824
然而，当前还没有一项全面的、系统性的研究来深入讨论和定义这一问题。尽管有些研究认为这种现象是有益的 [12]，或不将其视为问题 [16]，但学术界的大多数研究认为，BDC对LLM评估的可靠性和有效性构成了重大挑战，削弱了对其输出的信任，阻碍了其在现实中的应用 [69, 83, 98, 119, 126, 178]。一些有前途的方案被提出，例如通过使用LLM重新生成基准数据 [158, 180, 181]，以减少BDC的影响，以及基准无关评估 [24, 87, 166]，试图避免完全依赖预定义的基准。
NLP中文本预处理
Chujun123528的博客
09-06 826
文本处理是NLP中的基础且核心的部分，它涉及多个步骤和技术。通过文本预处理、文本表示以及常见的NLP任务等步骤，可以将原始文本数据转换为计算机可以理解和处理的数值形式，从而实现对文本数据的有效分析和利用。随着NLP技术的不断发展，文本处理的效率和效果也在不断提高，为人工智能领域的发展提供了有力的支持。
2025秋招NLP算法面试真题(十八)-大模型训练数据格式常见问题
最新发布
weixin_41496173的博客
09-09 728
大模型训练数据格式常见问题
视觉语言模型（VLMs）知多少？
qianggezhishen的专栏
09-05 1167
视频理解能分析视频里的视觉信息，然后生成描述性的文本，捕捉视频要表达的精髓。VLMs就像是AI界的新宠，能搞定那些既需要看图又需要读文的活儿，比如给图片配文字、回答有关图片的问题，或者根据文字描述生成图片。不过，不同的模型可能会用不同的预训练策略。随着这个领域的不断发展，我们可以预见，未来会有更多更复杂的VLMs出现，它们能完成更艰巨的任务，还能给出有价值的见解。通过把这两部分结合起来，VLMs能干的事儿可多了，比如能给图片写出详细的描述，回答有关图片的问题，甚至根据文字描述生成全新的图片呢！
深度解析Prompt-Tuning：微调新范式与应用探索
在本文中，我们将深度探讨Prompt-Tuning，这是一种全新的微调范式，尤其在深度学习领域，如大型语言模型（LLM）、自动创意生成内容（AIGC）以及如何利用这些模型构建特定领域的应用。作者王嘉宁通过NewBeeNLP公众号...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值