Megatron-lm、DeepSpeed

最新推荐文章于 2024-05-18 08:06:41 发布
最新推荐文章于 2024-05-18 08:06:41 发布
阅读量291 收藏
点赞数 2
分类专栏： 大模型 文章标签： 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinselizhi/article/details/138915167
版权

1、为了训练更多的数据、更大的模型，提出了并行训练框架。

2、并行的方式：数据并行、模型并行（张量并行、流水线并行）。

3、Megatron-LM 综合应用了数据并行（Data Parallelism），张量并行（Tensor Parallelism）和流水线并行（Pipeline Parallelism）。

4、DeepSpeed的核心是ZeRO(Zero Redundancy Optimizer)：显存优化的数据并行(data parallelism, DP)方案。

ZeRO将模型训练阶段，每张卡中显存内容分为两类：模型（参数、梯度、Adam状态）、剩余（激活值、临时缓冲区、显存碎片）。

猛猿-大模型预训练系列

谁怕平生太急
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
探索深度学习的新边界：Megatron-DeepSpeed
gitblog_00041的博客
03-25 410
探索深度学习的新边界：Megatron-DeepSpeed 项目地址:https://gitcode.com/microsoft/Megatron-DeepSpeed 项目简介 Megatron-DeepSpeed 是微软开源的一个强大且高效的深度学习框架，它结合了 Megatron-LM 和 DeepSpeed 的优点，旨在加速大规模预训练模型的训练和推理过程。此项目的目的是使研究人员和开发人员...
大模型技术栈-实战与应用 训练框架 deepspeed Megatron Megatron-LM Megatron-DeepSpeed colossal-ai 推理框架 triton 向量数据库
万有文的博客
04-16 1862
大模型技术栈的实战与应用是一个涉及多个层面和领域的复杂任务。以下是一些关键方面的概述：一、技术栈概述大模型技术栈主要包括一系列用于构建和训练大型人工智能模型的技术和工具。这些模型通常涉及深度学习、自然语言处理、计算机视觉等领域。随着数据规模的增加和计算能力的提高，大模型的性能和应用范围也在不断扩大。二、实战开发在实战开发过程中，开发人员需要深入理解模型架构，合理选择技术栈，并关注应用的实际需求。这包括数据收集与预处理、模型选择与训练、模型优化与部署等多个环节。
【LLM工程篇】deepspeed | Megatron-LM | fasttransformer
发现问题，并解决问题，批判性思维
09-19 3774
当前比较主流的一些分布式计算框架 DeepSpeed、Megatron 等，都在降低显存方面做了很多优化工作，比如：量化、模型切分、混合精度计算、Memory Offload 等 文章目录 note 大模型参数计算 1. 模型参数单位 2. 训练显存计算 3. 推理显存计算 大模型的分布式训练 1. 数据并行 2. 模型并行 3. 流水并行 4. 混合并行 模型量化 DeepSpeed ZeRO：零冗余优化 DeepSpeed Chat fastertransformer：LLM推理加速引擎 Megatro
DeepSpeed与Megatron的区别和联系
爱串门的小马驹博客
05-18 1545
毕竟Megatron是Nvidia亲儿子，底层优化信手拈来。DeepSpeed数据并行相比于Megatron做的更牛逼。分布式人工智能框架
DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）
I good vegetable a!
06-15 1893
本文基于DeepSpeedExamples仓库中给出的Megatron相关例子探索一下训练GPT2模型的流程。主要包含3个部分，第一个部分是基于原始的Megatron如何训练GPT2模型，第二个部分是如何结合DeepSpeed的特性进行训练Megatron GPT2，由于篇幅原因这篇文章只写了第一部分，主要是非常细致的记录了跑起来Megatron GPT2训练流程碰到的一些问题和如何解决的。
大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行
热门推荐
结构之法 算法之道
08-24 2万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
megatron 和deepspeed和TF mesh/pipedream/ JAX AIGC深度学习总结待续
weixin_40426261的博客
11-20 141
megatron 和deepspeed和TF mesh/pipedream/ JAX AIGC深度学习总结待续
AI框架：9大主流分布式深度学习框架简介
GIS摆渡人
06-13 2601
转载翻译Medium上一篇关于分布式深度学习框架的文章。
Megatron-LM:正在进行的大规模研究培训变压器语言模型，包括
04-12
威震天（ 和 ）是由NVIDIA应用深度学习研究团队开发的大型，强大的变压器。 该存储库用于正在进行的大规模培训大型变压器语言模型的研究。 我们使用混合精度开发了高效的，模型并行的（张量和流水线）以及和多节点预...
DeepSpeedExamples:使用 DeepSpeed 的示例模型
08-04
Megatron-LM ：这是 Megatron-LM 的一个相当古老的快照，我们一直在使用它来展示 DeepSpeed 的早期功能。 这不包含 ZeRO-3 或 3D 并行性。 Megatron-LM-v1.1.5-3D_parallelism：这是一个相对较新的 Megatron（2020 ...
Megatron-addons
03-06
"Megatron-addons" 是一个基于Python的插件系统，它为威震天（可能是某个软件或框架）提供了扩展功能。这个存储库集成了各种插件，以增强威震天的核心能力，满足用户对定制化和多样化功能的需求。下面将详细讨论...
PAI-Megatron-Patch：灵骏集群训练 LLMs.pdf
01-25
PAI-Megatron-Patch：灵骏集群训练 LLMs.pdf PAI-Megatron-Patch 是一个灵骏集群训练大语言模型（LLMs）的解决方案，旨在提供高性能、可扩展的训练平台。下面是从标题、描述、标签和部分内容中生成的相关知识点： ...
The Megatron Daemon-开源
06-30
从 KWUR 90.3FM 的余烬中诞生，这些是我们内部开发的工具，用于管理图表、自动编程、远程广播、重播、节目存档，以及我们作为非营利、非商业、地下广播电台的 DJ 员工队伍。
探索Megatron-DeepSpeed：大规模预训练模型的优化利器
gitblog_00055的博客
03-26 599
探索Megatron-DeepSpeed：大规模预训练模型的优化利器 项目地址:https://gitcode.com/bigscience-workshop/Megatron-DeepSpeed 项目简介 Megatron-DeepSpeed 是一个开源项目，由BigScience工作坊和Microsoft Azure AI实验室共同开发。它结合了Megatron-LM的高效分布式训练策略与De...
【Megatron-DeepSpeed】张量并行工具代码mpu详解(三)：张量并行层的实现及测试
bqw的博客
08-06 660
Megatron-DeepSpeed：张量并行的实现及测试​ Megatron-DeepSpeed是DeepSpeed版本的NVIDIA Megatron-LM。像BLOOM、GLM-130B等主流大模型都是基于Megatron-DeepSpeed开发的。这里以BLOOM版本的为例，介绍其模型并行代码mpu的细节(位于megatron/mpu下)。​。
K-means聚类.py ACM比赛常用算法k-means算法
最新发布
07-14
K-means聚类.py ACM比赛常用算法k-means算法
C语言http请求方法.txt
07-13
c
K12教育行业专题研究报告：教育大模型启航，细分领域性能较优(1)
07-14
K12教育行业专题研究报告：教育大模型启航，细分领域性能较优(1)
- deepspeed命令参数
08-12
DeepSpeed命令参数是指在启动容器时使用的命令参数，用于配置DeepSpeed库和Megatron-Deepspeed的相关设置。根据引用的内容，以下是DeepSpeed命令参数的解释： - -d: 启用后台模式 (detached mode)，容器将在后台运行。 - -t: 分配一个伪终端 (pseudo-TTY)，使得用户可以与容器进行交互。 - --network=host: 使用主机网络模式，容器将共享主机的网络命名空间。 - --gpus all: 分配所有可用的GPU给容器使用。 - --privileged: 赋予容器完全的特权，使其可以访问主机的设备。 - --ipc=host: 使用与主机共享的IPC命名空间，用于进程间通信。 - --ulimit memlock=-1: 设置内存锁定的限制为无限制，以防止内存被交换出去。 - --ulimit stack=67108864: 设置栈的限制为67108864字节，用于控制进程的栈空间。 - --name megatron-deepspeed: 为容器指定一个名称。 - -v /etc/localtime:/etc/localtime: 将主机的时区信息挂载到容器内部，以保持时间同步。 - -v /root/.ssh:/root/.ssh: 将主机的SSH配置目录挂载到容器内部，以便容器可以访问SSH密钥。 - nvcr.io/nvidia/pytorch:21.10-py3: 指定使用的Docker镜像，这里使用了nvcr.io/nvidia/pytorch的21.10-py3版本。 综上所述，以上是DeepSpeed命令参数的解释。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [阿里云AIGC- 使用Megatron-Deepspeed训练GPT-2并生成文本](https://blog.csdn.net/qq_39970492/article/details/131090026)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值