DeepSpeed之ZeRO系列：将显存优化进行到底

已于 2024-02-15 14:40:09 修改
阅读量2.2k 收藏 32
点赞数 18
分类专栏： LLM分布式训练框架DeepSpeed/accelera LLM大语言模型 文章标签： 大模型 自然语言处理 语言模型 llama
于 2024-02-15 14:40:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/136120377
版权

DeepSpeed之ZeRO系列：将显存优化进行到底

basicv8vc

目录

收起

前言

ZeRO: 一种去除冗余的数据并行方案

背景

显存去哪了

通信数据量分析

ZeRO-Offload: 让人人都能训练得起大模型

背景

Offload策略

扩展性

ZeRO-Infinity: 利用NVMe打破GPU显存墙

背景

前言

目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow/JAX 和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由Google主导，由于TPU和自家云平台GCP深度绑定，对于非Googler来说， 只可远观而不可把玩，后者背后则有NVIDIA、Meta、MS大厂加持，社区氛围活跃，也更受到群众欢迎。

上面提到的DeepSpeed的核心是ZeRO(Zero Redundancy Optimizer)，简单来说，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
DeepSpeed零冗余优化器Zero Redundancy Optimizer
强化学习曾小健
06-15 3778
DeepSpeed 首先包括 ZeRO-Offload 的卸载功能，ZeRO-Offload 是一种用于将优化器和梯度状态卸载到 ZeRO-2 中的 CPU 内存的系统。ZeRO 通过在分布式训练硬件中的可用设备（GPU 和 CPU）之间划分各种模型训练状态（权重、梯度和优化器状态）来减少每个 GPU 的内存消耗。ZeRO-3 是 ZeRO 的第三个阶段，它对整个模型状态（即权重、梯度和优化器状态）进行分区，以根据数据并行度线性扩展内存节省。注意，在构建层时指定相应的基类，可以将模型并行和平铺结合起来。
多轮对话微调实战指南：打造你自己的国产模型（Qwen × DeepSeek 实测）
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-05 1016
想让国产大模型像 ChatGPT 一样「多轮连贯对话」？ 这篇文章将手把手带你实现一套基于国产模型的多轮对话微调流程，从数据格式设计、历史轮次嵌入、模型选择，到 Qwen2.5 × DeepSeek-V3 实测效果与部署方案，彻底跑通专属 ChatBot 精调路径。
Deepspeed Zero(DP)
是云就要飞的博客
01-18 2196
如：优化器中使用的随机梯度下降算法SGD中，更新参数的公式：参数 = 参数 - 学习率 * 梯度。
中英双语介绍DeepSpeed 的 ZeRO 优化
阿正的梦工坊
11-27 1526
DeepSpeed introduces the ZeRO (Zero Redundancy Optimizer) optimization technique, a groundbreaking solution to reduce memory usage and improve efficiency during training.
LLM-分布式训练工具01-DeepSpeed：ZeRO系列【将显存优化进行到底】
u013250861的博客
06-16 1071
目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow/JAX 和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由Google主导，由于TPU和自家云平台GCP深度绑定，对于非Googler来说， 只可远观而不可把玩，后者背后则有NVIDIA、Meta、MS大厂加持，社区氛围活跃，也更受到群众欢迎。
【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01：DeepSpeedZeroOptimizer（ZeRO-1，ZeRO-2）
陈超帅的博客
10-28 3868
【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01：DeepSpeedZeroOptimizer（ZeRO-1，ZeRO-2）
ZeRO：显存优化技术；在DeepSpeed中使用ZeRO
ZJQ的博客
12-09 247
ZeRO（Zero Redundancy Optimizer）是一种显存优化技术，其核心原理在于通过将模型的不同部分（包括模型参数、梯度和优化器状态）划分到多个GPU上，以减少每个GPU上的内存占用，从而支持更大规模的深度学习模型训练。在Python中实现ZeRO（Zero Redundancy Optimizer）优化技术，尤其是在深度学习框架中，通常是一个复杂且高度专业化的任务。通过合理的阶段选择和配置优化，ZeRO技术可以显著提升大规模深度学习模型的训练效率和性能。，它内置了对ZeRO的支持。
DeepSpeed ZeRO 深度拆解与调优指南：显存节省与通信优化全攻略
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-27 597
ZeRO（Zero Redundancy Optimizer）是 DeepSpeed 的核心技术之一，它通过三阶段的参数、优化器状态、梯度切分机制，极大地打破了传统分布式训练中的显存与通信瓶颈。 本篇作为 DeepSpeed 系列第四篇，将以模块化解构视角，深入讲解 ZeRO Stage-1/2/3 的内部机制、资源分配策略、通信优化细节，结合实际工程调优案例，帮你掌握如何根据模型规模和训练目标灵活选择和微调 ZeRO，加速大模型训练与微调流程。 全程以真实可复现的工程实践为基础，附性能测试数据与配
deepspeed&zero及大模型显存占用
Caleb_X的博客
08-24 1394
在训练期间，激活会占用大量内存。现看baseline，即没有优化的时候，多卡数据并行的方式：每个GPU都拿到模型的全部，包括优化器参数、模型参数，梯度，然后各个GPU拿自己的数据计算完的前向计算及反向梯度计算之后（这个时候算的是自己那部分数据对应的），会做一次gather的操作，可以理解为某一个GPU充当一个master，把各个GPU算的梯度一起拿过来，合成一个全局的梯度。* 模型梯度算出来之后，要用梯度来更新模型参数的时候，会用fp32来进行更新，也就是说，原始的参数有一份一直存着的fp32的副本。
白话deepspeed里面的ZeRO1,2,3以及affload以及实战演练
qq_50097745的博客
09-20 1万+
微软deepspeed的ZeRO的理解，以及实战
【DeepSpeed】零冗余优化器（Zero Redundancy Optimizer, ZeRO）
彬彬侠的博客
04-16 1087
零冗余优化器（Zero Redundancy Optimizer, ZeRO）是 DeepSpeed 提供的一种分布式训练优化技术，旨在通过分片模型参数、梯度和优化器状态，显著降低显存占用，同时支持超大规模模型训练。核心思想：ZeRO 将模型参数、梯度和优化器状态分片（partition）到多个设备上，消除冗余存储，仅在需要时通过通信收集所需数据。分片级别：ZeRO Stage 1：分片优化器状态（如 Adam 的动量和方差）。ZeRO Stage 2：分片优化器状态和梯度。ZeRO Stage 3：分片优
探索零阶优化：在语言模型提示优化中的应用与原理【初步理解】
qq_22841387的博客
05-29 1413
零阶优化（Zero-Order Optimization）是一种优化方法，用于在没有显式梯度信息的情况下优化目标函数。与常见的梯度下降法不同，零阶优化不依赖于目标函数的梯度，而是通过直接评估目标函数值来引导优化过程。这种方法特别适用于那些目标函数不可导、复杂或未知的情况。
详解 DeepSpeed Zero 的各个 Stage 状态及日常使用
CK的博客
04-04 7849
通过运行发现，如果我们的模型本身占用的显存不大，比如选用了较小参数模型，那么绝大部分显存是被前向传播过程中产生的激活值所占用，这是很好理解的，激活内存用于存储神经网络在前向传播过程中计算的中间激活值。的设置，在每次进行反向传播的过程中，梯度被平均放在了各个设备上，在做梯度下降的过程中，会对梯度打包成一个个 chunk ，再进行梯度下降，当然这样做的原因就在于提高效率，但是当打包的尺寸太大时，也会导致显存占用的增加，控制这个打包尺寸的参数可以通过修改。相反，在前向传递中，将保存输入元组和函数参数。
【大模型训练】ZeRO-infinity: breaking the GPU memory wall for extreme scale deep learning
qq_43543209的博客
04-19 1574
在过去的三年中，最大的密集深度学习模型已经增长了1000倍以上，达到数千亿个参数，而GPU内存仅增长了5倍（从16 GB到80 GB）。因此，模型规模的增长主要通过系统创新来支持，这些创新使得大型模型能够适应多个GPU的聚合内存。然而，我们正接近GPU内存的极限。仅仅为了适应一个拥有万亿个参数的模型的训练，就需要800个NVIDIA V100 GPU，而这样的集群对于大多数数据科学家来说是不可企及的。此外，以这样的规模训练模型需要复杂的并行技术组合，这给数据科学家重构模型带来了巨大负担。
小白入门的DeepSpeed原理和代码实现（三）DeepSpeed、ZeRO
Code1994的博客
01-18 3077
这次对分布式训练和DeepSpeed的探索让我学到了很多关于分布式模型训练的细微差别和挑战，以及零冗余优化器如何在多个GPU上训练时减少内存需求。DeepSpeed中还有许多其他优化没有在本文中涵盖，这为我未来的探索留下了几个话题：卸载：DeepSpeed提供了将优化器状态和模型参数卸载到CPU内存和磁盘的能力，这可以进一步减少内存消耗，以训练时间为代价。专家混合（MoE）：MoE模型是一类使用稀疏激活层（即在每次前向传递中选择一部分权重使用的层）来增加模型参数总数而不增加计算复杂性的模型。
Deepspeed、ZeRO、FSDP、ZeRO-Offload、all reduce、reduce-scatter
taoqick的专栏
03-29 2319
FSDP可以看成PyTorch中的DDP优化版本，本身也是数据并行，但是和DDP不同的是，FSDP采用了parameter sharding，所谓的parameter sharding就是将模型参数也切分到各个GPUs上，而DDP每个GPU都要保存一份parameter，FSDP可以实现更好的训练效率（速度和显存使用），，而这一部分除了相对算子简单以外，最重要的是Adam优化器本身是32bit的，把它放在CPU的内存上，会极大的节省GPU的显存。
Deepspeed的机制学习以及ZeRO-1、ZeRO-2和ZeRO-3的区别
热门推荐
samoyan的博客,记录技术成长~
03-18 2万+
ZeRO（Zero Redundancy Optimizer）是一种为了解决大规模分布式训练中的内存瓶颈问题而设计的优化器。它通过减少冗余数据来优化模型的内存使用，允许训练更大的模型。ZeRO分为三个优化级别：ZeRO-1、ZeRO-2和ZeRO-3，每个级别都在前一个级别的基础上进一步减少内存占用。ZeRO-1、ZeRO-2和ZeRO-3是递进的优化级别，每个级别都在前一个级别的基础上减少更多的内存冗余。
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 9151
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
LLM-分布式训练工具01-DeepSpeed：ZeRO-1、ZeRO-2、ZeRO-3配置【DeepSpeed的核心就在于，GPU显存不够，CPU内存来凑】
u013250861的博客
06-13 5589
现在的模型越来越大，动辄几B甚至几百B。但是显卡显存大小根本无法支撑训练推理。例如，一块RTX2090的10G显存，光把模型加载上去，就会OOM，更别提后面的训练优化。作为传统pytorch Dataparallel的一种替代，DeepSpeed的目标，就是为了能够让亿万参数量的模型，能够在自己个人的工作服务器上进行训练推理。本文旨在简要地介绍Deepspeed进行大规模模型训练的核心理念，以及最基本的使用方法。
deepspeed的zero策略
01-23
Zero 是一种用于分布式训练的内存优化技术，旨在减少每台设备上的显存占用并提高扩展效率。通过将模型参数、梯度和优化器状态分片存储于不同节点上，使得单个GPU可以处理更大规模的模型[^1]。 #### 配置方法 为了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值