deepspeed zero3

已于 2023-08-07 22:29:02 修改
阅读量1.5k 收藏 1
点赞数
文章标签： 深度学习 人工智能
于 2023-08-07 22:28:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hahachenchen789/article/details/132156513
版权

zero3。它是纵向切分权重（intra-layer，每一层的权重切成n块）。但是这样会增加通讯时间。你可以根据自己的模型，估算下切分后的通讯量和通讯时间。其次，pipeline并行一般指横向切分权重（inter-layer，每一层放在一块卡上，有n层就放n张卡），所以它和zero3的切分不是一个类型的。总结一下，zero3可以帮你切权重，但不是pipeline的那种切法，zero3切分权重后会增加通讯量，进而增加训练时间。

megatron+deepspeed 实现3D并行。效率更高。：megatron提供tp，deepspeed 提供dp和pp。

参考资料：

https://huggingface.co/blog/zh/bloom-megatron-deepspeed

图解大模型训练之：数据并行下篇( DeepSpeed ZeRO，零冗余优化) - 知乎
https://huggingface.co/blog/zh/megatron-training

hahachenchen789
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM-分布式训练工具01-DeepSpeed：ZeRO-1、ZeRO-2、ZeRO-3配置【DeepSpeed的核心就在于，GPU显存不够，CPU内存来凑】
u013250861的博客
06-13 4418
现在的模型越来越大，动辄几B甚至几百B。但是显卡显存大小根本无法支撑训练推理。例如，一块RTX2090的10G显存，光把模型加载上去，就会OOM，更别提后面的训练优化。作为传统pytorch Dataparallel的一种替代，DeepSpeed的目标，就是为了能够让亿万参数量的模型，能够在自己个人的工作服务器上进行训练推理。本文旨在简要地介绍Deepspeed进行大规模模型训练的核心理念，以及最基本的使用方法。
微软DeepSpeed源码
04-14
微软DeepSpeed帮助用户训练类似于ChatGPT的模型，与现有系统相比，DeepSpeed Chat的速度快15倍以上，可提升模型的训练和推理效率。
Deepspeed的机制学习以及ZeRO-1、ZeRO-2和ZeRO-3的区别
samoyan的博客,记录技术成长~
03-18 6360
ZeRO（Zero Redundancy Optimizer）是一种为了解决大规模分布式训练中的内存瓶颈问题而设计的优化器。它通过减少冗余数据来优化模型的内存使用，允许训练更大的模型。ZeRO分为三个优化级别：ZeRO-1、ZeRO-2和ZeRO-3，每个级别都在前一个级别的基础上进一步减少内存占用。ZeRO-1、ZeRO-2和ZeRO-3是递进的优化级别，每个级别都在前一个级别的基础上减少更多的内存冗余。
deepspeed训练zero3策略cpu内存不足报错
weixin_43013480的博客
01-18 1335
大概率是cpu内存不足所致，训练用的zero3策略，将deepspeed的zero3策略换为zero2策略问题就解决了。用deepspeed训练deepseek过程中遇到如下问题，
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 7285
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
基于vscode调试deepspeed，以及使用zeros3_offload
diehualong的博客
12-12 946
使用其他优化器可能会报错，因此需要使用DeepSpeedCPUAdam针对cpu的优化器。这里只给出了zero-3的使用方式，deepspeed还包括zero-1和zero-2等方法。首先按照下图所示，新建lauch.json文件。主要需要更改以下三行。
解决DeepSpeed Zero-3 is not compatible with `low_cpu_mem_usage=True` or with passing a `device_map`.
qq_44817420的博客
07-26 2480
accelerate launch --multi_gpu --mixed_precision=fp16 --num_processes=2 /home/(路径)/train.py。首先尝试了在AutoModelForCausalLM.from_pretrained中加入device_map=“auto”而不是用python命令或者pycharm运行。具体如何在pycharm里运行还不清楚。训练时在自己用的服务器终端输入。微调大模型不知道怎么多卡并行。
DeepSpeedExamples:使用 DeepSpeed 的示例模型
08-04
深速 ... Megatron-LM-v1.1.5-ZeRO3：Megatron 底层版本与 3D_parallelism 相同，但不包含 3D 并行端口。 然而，它包含 DeepSpeed 的最新进展，包括 ZeRO-3、ZeRO-3 Offload 和 ZeRO-Infinity。 我
DeepSpeed：DeepSpeed是一个深度学习优化库，可让分布式培训变得轻松，高效，有效
02-04
极高的内存效率：DeepSpeed的ZeRO-Offload仅需一个GPU，即可训练具有超过10B参数的模型，比现有技术大10倍，使数十亿参数的模型训练民主化，从而使许多深度学习科学家可以探索更大更好的模型楷模。 极长的
在windows情况下安装deepspeed
07-07
通常，这涉及到创建一个JSON配置文件，指定不同的参数，如AdamW优化器、混合精度训练（Mixed Precision Training, MPT）、零冗余优化器（Zero Redundancy Optimizer, ZeRO）等。你可以在DeepSpeed的官方文档中找到...
大模型finetune-基于lora-deepspeed+多GPU实现的ChatGLM微调实现-附项目源码-优质项目实战.zip
最新发布
05-25
Deepspeed是一个深度学习优化库，它提供了多种加速训练的策略，包括零冗余优化器（Zero Redundancy Optimizer, ZOO）、混合精度训练、梯度累积以及模型并行和数据并行等。在多GPU环境中，Deepspeed能够有效地协调...
DeepSpeed
银晗的学习博客
09-12 2037
使用DeepSpeed时，首先需要提供一个ds_config文件然后参照上文基础用法，将model用deepspeed.initialize()包装起来deepspeed.initialize()内部会初始化通信，所以就不需要手动调用dist.init_process_group()了（当然也可以手动调用deepspeed.init_distributed()来初始化）
大模型-计算优化-DeepSpeed
u012492756的博客
09-23 542
DeepSpeed 是什么，原理的简要介绍
Zero原理
smartcat2010的博客
11-10 2101
DeepSpeed: Extreme-scale model training for everyone - Microsoft Research Why model-parallelism is most communication cost? 模型参数在CPU上有一份（只保留自己这个GPU的partition即可）；update的时候直接把offload到CPU上的gradients以及常驻CPU内存的optimizer-states, 更新到同样在CPU内存里的模型参数，然
Deepspeed Zero(DP)
是云就要飞的博客
01-18 1465
如：优化器中使用的随机梯度下降算法SGD中，更新参数的公式：参数 = 参数 - 学习率 * 梯度。
PTMs：大模型预训练技巧之ZeRO训练优化技术(DeepSpeed库-减少参数的冗余+优化通信+本质是时间换空间)的简介(四大核心技术(分布式训练/模型分片/梯度累积/内存优化)+ZeRO四个版本(
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 1230
​ PTMs：大模型预训练技巧之ZeRO训练优化技术(DeepSpeed库-减少参数的冗余+优化通信+本质是时间换空间)的简介(四大核心技术(分布式训练/模型分片/梯度累积/内存优化)+ZeRO四个版本(优化器状态分片→梯度分片→参数分片→综合)、使用方法、案例应用之详细攻略 目录 相关文章 相关论文 ZeRO训练优化技术(DeepSpeed库)的简介 ZeRO训练优化技术的使用方法 相关文章 PTMs：大模型预训练技巧之ZeRO训练优化技术(DeepSpee
DeepSpeed介绍
墨路~~的博客
04-26 3013
DeepSpeed是一个由微软开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed还提供了一些辅助工具，如分布式训练管理、内存优化和模型压缩等，以帮助开发者更好地管理和优化大规模深度学习训练任务。此外，deepspeed基于pytorch构建，只需要简单修改即可迁移。DeepSpeed已经在许多大规模深度学习项目中得到了应用，包括语言模型、图像分类、目标检测等等。
Qwen源码解析：finetune.py
人工智能曾小健
09-26 1798
Python代码，涉及deepspeed、transformers、peft等库，用于定义数据与模型相关的参数和配置。这段代码主要定义了与模型、数据和训练相关的参数和配置类。希望这个解释对您有所帮助！
DeepSpeed使用指南(简略版)
热门推荐
weixin_43301333的博客
10-10 5万+
Zero Redundancy Optimizer (ZeRO)是DeepSpeed的workhorse. 用户可以提供不同的ZeRO config文件，来实现DeepSpeed的不同功能特性。来看一下官网教程对ZeRO的描述：一句话总结：，划分而不是复制。即，传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。而ZeRO就是为了消除这种冗余，提高对memory的利用率。
deepspeed zero使用
08-22
DeepSpeed Zero 是一种优化分布式深度学习训练的框架。它是DeepSpeed框架的一部分，旨在进一步提高训练速度和效率。 DeepSpeed Zero 的核心目标是减少分布式训练的通信和同步开销。它通过使用零通信元语语义（Zero Communication Optimizer）来实现。具体而言，DeepSpeed Zero 实现了一种零总和压缩算法，通过减少同步操作中传输的数据量来降低通信开销。 此外，DeepSpeed Zero 还提供了一种名为ZeRO-2（Zero Redundancy Optimizer-2）的内存优化技术。ZeRO-2可以将大型模型参数分割成多个小块，每个小块独立存储于不同的设备上，从而减少了内存使用量。这种分割让每个分块都可以被独立地更新和同步，进一步提高了训练速度和可扩展性。 通过使用 DeepSpeed Zero，用户可以在分布式深度学习训练中获得以下优势： 1. 更快的训练速度：DeepSpeed Zero 通过减少通信和同步操作的开销，显著提高了训练速度。 2. 更高的训练效率：DeepSpeed Zero 的 ZeRO-2 技术减少了内存使用量，提高了训练模型的效率。 3. 更好的可扩展性：DeepSpeed Zero 具有良好的可扩展性，可以处理超大规模的深度学习模型和数据。 总之，DeepSpeed Zero 是一个针对分布式深度学习训练进行优化的框架，通过减少通信和同步开销以及内存优化，提高了训练速度、效率和可扩展性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值