LLM-分布式训练工具01-DeepSpeed：ZeRO系列【将显存优化进行到底】

已于 2023-07-10 16:43:39 修改
阅读量781 收藏 1
点赞数
分类专栏： LLM 文章标签： python 深度学习 开发语言
于 2023-06-16 15:29:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131248014
版权
本文介绍了DeepSpeed的ZeRO系列，这是一种显存优化的数据并行方案，旨在减少分布式训练中显存的使用。ZeRO通过分片技术减少模型状态的显存占用，ZeRO-Offload利用CPU和内存补充显存，而ZeRO-Infinity则利用NVMe突破GPU显存限制。这些技术使得训练更大规模的模型成为可能。
摘要由CSDN通过智能技术生成

前言

目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow/JAX 和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由Google主导，由于TPU和自家云平台GCP深度绑定，对于非Googler来说， 只可远观而不可把玩，后者背后则有NVIDIA、Meta、MS大厂加持，社区氛围活跃，也更受到群众欢迎。

上面提到的DeepSpeed的核心是ZeRO(Zero Redundancy Optimizer)，简单来说，它是一种显存优化的数据并行(data parallelism, DP)方案。而“优化“这个话题又永无止境，在过去两年DeepSpeed团队发表了三篇ZeRO相关的论文，提出了去除冗余参数、引入CPU和内存、引入NVMe等方法，从始至终都围绕着一个目标：将显存优化进行到底。

ZeRO: 一种去除冗余的数据并行方案

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
LLM-分布式训练工具01-DeepSpeed：ZeRO-1、ZeRO-2、ZeRO-3配置【DeepSpeed的核心就在于，GPU显存不够，CPU内存来凑】
u013250861的博客
06-13 4577
现在的模型越来越大，动辄几B甚至几百B。但是显卡显存大小根本无法支撑训练推理。例如，一块RTX2090的10G显存，光把模型加载上去，就会OOM，更别提后面的训练优化。作为传统pytorch Dataparallel的一种替代，DeepSpeed的目标，就是为了能够让亿万参数量的模型，能够在自己个人的工作服务器上进行训练推理。本文旨在简要地介绍Deepspeed进行大规模模型训练的核心理念，以及最基本的使用方法。
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
TensorRT支持几乎所有的深度学习框架，包括TensorFlow、Caffe、Mxnet、Pytorch等，它可以将这些框架的模型进行优化，并生成一个针对特定NVIDIA GPU平台的高性能推理引擎。TensorRT的优化包括层融合、精度校准、内核...
Deepspeed的机制学习以及ZeRO-1、ZeRO-2和ZeRO-3的区别
samoyan的博客,记录技术成长~
03-18 8391
ZeRO（Zero Redundancy Optimizer）是一种为了解决大规模分布式训练中的内存瓶颈问题而设计的优化器。它通过减少冗余数据来优化模型的内存使用，允许训练更大的模型。ZeRO分为三个优化级别：ZeRO-1、ZeRO-2和ZeRO-3，每个级别都在前一个级别的基础上进一步减少内存占用。ZeRO-1、ZeRO-2和ZeRO-3是递进的优化级别，每个级别都在前一个级别的基础上减少更多的内存冗余。
DeepSpeed零冗余优化器Zero Redundancy Optimizer
人工智能曾小健
06-15 3339
DeepSpeed 首先包括 ZeRO-Offload 的卸载功能，ZeRO-Offload 是一种用于将优化器和梯度状态卸载到 ZeRO-2 中的 CPU 内存的系统。ZeRO 通过在分布式训练硬件中的可用设备（GPU 和 CPU）之间划分各种模型训练状态（权重、梯度和优化器状态）来减少每个 GPU 的内存消耗。ZeRO-3 是 ZeRO 的第三个阶段，它对整个模型状态（即权重、梯度和优化器状态）进行分区，以根据数据并行度线性扩展内存节省。注意，在构建层时指定相应的基类，可以将模型并行和平铺结合起来。
DeepSpeed之ZeRO系列：将显存优化进行到底
人工智能曾小健
02-15 1759
目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow/JAX 和 GPU +。前者由Google主导，由于TPU和自家云平台GCP深度绑定，对于非Googler来说， 只可远观而不可把玩，后者背后则有NVIDIA、Meta、MS大厂加持，社区氛围活跃，也更受到群众欢迎。上面提到的DeepSpeed的核心是ZeRO(Zero Redundancy Optimizer)，简单来说，它是一种显存优化的数据并行(data parallelism, DP)方案。
白话deepspeed里面的ZeRO1,2,3以及affload以及实战演练
qq_50097745的博客
09-20 6989
微软deepspeed的ZeRO的理解，以及实战
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 7565
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
06-05
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip 算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip算法部署-使用TensorRT-...
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
最新发布
06-09
### LLM-as-a-Judge与MT-Bench及Chatbot Arena的研究概述 #### 一、引言 随着大型语言模型（Large Language Model, LLM）的迅速发展，基于LLM的聊天助手（即“聊天机器人”）正在以前所未有的速度涌现。这些聊天...
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
ZeRO Memory Optimizations Toward Training Trillion Parameter Models
greatcoder的博客
07-31 328
ZeRO Memory Optimizations Toward Training Trillion Parameter Models
Zero原理
smartcat2010的博客
11-10 2121
DeepSpeed: Extreme-scale model training for everyone - Microsoft Research Why model-parallelism is most communication cost? 模型参数在CPU上有一份（只保留自己这个GPU的partition即可）；update的时候直接把offload到CPU上的gradients以及常驻CPU内存的optimizer-states, 更新到同样在CPU内存里的模型参数，然
Deepspeed Zero(DP)
是云就要飞的博客
01-18 1580
如：优化器中使用的随机梯度下降算法SGD中，更新参数的公式：参数 = 参数 - 学习率 * 梯度。
分布式训练数据并行极致优化：ZeRO
weixin_44966641的博客
07-27 1620
随着 ChatGPT 的爆火，大模型成为了近些年人工智能的研究热点。大模型能力惊艳，但是训练起来成本也不小。大模型，顾名思义，最大的特点就是 “大”。这里的 “大” 通常指的就是模型的参数量大。因此，在分布式训练中，如何利用有限的显存训练更大的模型就是重点。分布式的训练的常用范式包括数据并行和模型并行，其中模型并行又包括张量并行和流水线并行。Megatron-ML 等框架中实现的的张量并行已经是是训练大模型的标配，但是数据并行作为最简洁、最易理解、最易实现的分布式训练范式，近些年还是有了完善的优化。
DeepSpeed使用指南(简略版)
热门推荐
weixin_43301333的博客
10-10 5万+
Zero Redundancy Optimizer (ZeRO)是DeepSpeed的workhorse. 用户可以提供不同的ZeRO config文件，来实现DeepSpeed的不同功能特性。来看一下官网教程对ZeRO的描述：一句话总结：，划分而不是复制。即，传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。而ZeRO就是为了消除这种冗余，提高对memory的利用率。
ZeRO & DeepSpeed：可以让训练模型拥有超过1000亿个参数的优化（微软）
yinizhilianlove的博客
02-13 1714
来源：AINLPer 微信公众号 编辑: ShuYini 校稿: ShuYini 时间: 2020-2-12 论文获取方式： 1、官网地址下载：https://arxiv.org/abs/1910.02054 2、关注 AINLPer 回复: ZeRO 引言     人工智能的最新趋势是拥有更大的自然语言模型提供更好的准确性。但是，由于成本、时间和代码集成简单(没有对代码进行专门的优化)，这将...
12.ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
陈超帅的博客
09-09 152
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models 阅读笔记
大模型训练方法ZeRO及其三级模式介绍
ASS-ASH的博客
10-12 3760
本次大规模训练技术系列分享之 ZeRO，主要对微软 ZeRO Optimizer 的思路和实现进行介绍，全文包含以下四个部分：大规模训练的技术挑战 & 现有的并行训练方式ZeRO Optimizer 的三个不同级别ZeRO-3 具体实现思路和方式ZeRO 的局限与大模型训练的未来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值