玩转deepspeed

已于 2023-10-10 21:36:31 修改
阅读量884 收藏
点赞数
文章标签： deepspeed
于 2023-10-10 16:27:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40859560/article/details/133749655
版权

DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。

本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。原始文档链接：deepspeed

一、DeepSpeed目前支持的功能

  1. Optimizer state partitioning (ZeRO stage 1)
  2. Gradient partitioning (ZeRO stage 2)
  3. Parameter partitioning (ZeRO stage 3)
  4. Custom mixed precision training handling
  5. A range of fast CUDA-extension-based optimizers
  6. ZeRO-Offload to CPU and NVMe

二、DeepSpeed的使用

# 单卡的使用方法
deepspeed --num_gpus=1 examples/pytorch/translation/run_translation.py ...
# 单卡，并指定对应的GPU
deepspeed --include localhost:1 examples/pytorch/translation/run_translation.py ...
​
# 多GPU的使用方法1
torch.distributed.run --nproc_per_node=2 your_program.py <normal cl args> --deepspeed ds_config.json
# 多GPU的使用方法2
deepspeed --num_gpus=2 your_program.py <normal cl args> --deepspeed ds_config.json
​
# 多节点多卡方法1，需要在多个节点上手动启动
python -m torch.distributed.run --nproc_per_node=8 --nnode=2 --node_rank=0 --master_addr=hostname1 --master_port=9901 your_program.py <normal cl args> --deepspeed ds_config.json
# 多节点多卡方法2，需要创建一个 hostfile 文件，只需在一个节点上启动
hostname1 slots=8
hostname2 slots=8
# 然后运行
deepspeed --num_gpus 8 --num_nodes 2 --hostfile hostfile --master_addr hostname1 --master_port=9901 your_program.py <normal cl args> --deepspeed ds_config.json
​
# 在SLURM上运行，略，参见原始文档
# 在jupyter中运行，略，参见原始文档

2.2 为什么单卡的情况，也可以使用deepspeed？

  1. 使用ZeRO-offload，将部分数据offload到CPU，降低对显存的需求
  2. 提供了对显存的管理，减少显存中的碎片

参数解释：

ZeRO-2

  • overlap_comm：控制是否使用通信与计算的重叠。当设置为True时，DeepSpeed将在梯度计算时尝试并行执行梯度通信。可以有效地减少通信时间，从而加速整个训练过程。
  • allgather_bucket_size：用于控制Allgather操作的分桶大小。Allgather操作是指在分布式训练中，每个进程收集其他所有进程的张量，并将这些张量按顺序拼接起来。通过将张量划分为较小的桶（buckets），可以在通信过程中更高效地传输数据。allgather_bucket_size值越大，每个桶的大小越大，通信操作可能会变得更快，但也需要更多的内存来存储中间结果。合适的桶大小要根据实际情况调整。
  • reduce_bucket_size：类似于allgather_bucket_size，用于控制Allreduce操作的分桶大小。Allreduce操作是将所有进程的某个张量进行规约（例如求和），并将结果广播回所有进程。通过将张量划分为较小的桶，可以更高效地传输数据。reduce_bucket_size值越大，每个桶的大小越大，通信操作可能会变得更快，但同时也需要更多的内存来存储中间结果。合适的桶大小需要根据实际情况进行调整。
  • overlap_comm使用的是allgather_bucket_size和reduce_bucket_size值的4.5倍。如果它们被设置为5e8，需要9GB显存（5e8 x 2Bytes x 2 x 4.5）。如果内存大小是8GB或更小，需要将这些参数减少到约2e8，从而避免OOM，这需要3.6GB显存。如果在大容量GPU上也出现OOM，也需要做同样的调整。
  • 在deepspeed==0.4.4中新增了 round_robin_gradients 选项，可以并行化CPU的offload。当梯度累积的步数增加，或者GPU数量增加时，会有更好的性能优势。

ZeRO-3

  • stage3_max_live_parameters 是保留在 GPU 上的完整参数数量的上限。
  • stage3_max_reuse_distance 是指将来何时再次使用参数的指标，从而决定是丢弃参数还是保留参数。 如果一个参数在不久的将来要再次使用（小于 stage3_max_reuse_distance），可以保留以减少通信开销。 使用activation checkpointing时，这一点非常有用。
  • 如果遇到 OOM，可以减少 stage3_max_live_parameters 和 stage3_max_reuse_distance。 除非正在使用activation checkpointing，否则它们对性能的影响应该很小。 1e9 会消耗 ~2GB。 内存由 stage3_max_live_parameters 和 stage3_max_reuse_distance 共享，所以不是相加的，一共 2GB。
  • stage3_gather_16bit_weights_on_model_save 在保存模型时启用模型 fp16 权重合并。 对大型模型和多GPU，在内存和速度方面都是一项昂贵的操作。 如果打算恢复训练，目前需要使用它。 未来的更新将消除此限制。
  • sub_group_size 控制在optimizer steps中更新参数的粒度。 参数被分组到 sub_group_size 的桶中，每个桶一次更新一个。 当与 ZeRO-Infinity 中的 NVMe offload一起使用时，sub_group_size 控制模型状态在optimizer steps期间从 NVMe 移入和移出 CPU 内存的粒度。 防止超大模型耗尽 CPU 内存。不使用NVMe offload时，使其保持默认值。出现OOM时，减小sub_group_size。当优化器迭代很慢时，可以增大sub_group_size 。
  • ZeRO-3 中未使用 allgather_partitions、allgather_bucket_size 和 reduce_scatter 配置参数

NVMe Support

  • ZeRO-Infinity 需要使用 ZeRO-3
  • ZeRO-3 会比 ZeRO-2 慢很多。使用以下策略，可以使得ZeRO-3 的速度更接近ZeRO-2
    • 将stage3_param_persistence_threshold参数设置的很大，比如6 * hidden_size * hidden_size
    • 将offload_params参数关闭（可以极大改善性能）

如何选择不同的Zero stage和offload代码

  • 从左到右，越来越慢
    Stage 0 (DDP) > Stage 1 > Stage 2 > Stage 2 + offload > Stage 3 > Stage 3 + offloads
  • 从左到右，所需GPU显存越来越少
    Stage 0 (DDP) < Stage 1 < Stage 2 < Stage 2 + offload < Stage 3 < Stage 3 + offloads

参考：deepspeed入门教程 - 知乎

如何选择stage

python -c 'import transformers; \
from deepspeed.runtime.zero.stage3 import estimate_zero3_model_states_mem_needs_all_live; \
model = transformers.LlamaForCausalLM.from_pretrained("model_path"); \
estimate_zero3_model_states_mem_needs_all_live(model, num_gpus_per_node=2, num_nodes=1)'

结果：

 Estimated memory needed for params, optim states and gradients for a:
HW: Setup with 1 node, 2 GPUs per node.
SW: Model with 6738M total params, 131M largest layer params.
  per CPU  |  per GPU |   Options
  169.44GB |   0.49GB | offload_param=cpu , offload_optimizer=cpu , zero_init=1
  169.44GB |   0.49GB | offload_param=cpu , offload_optimizer=cpu , zero_init=0
  150.62GB |   6.76GB | offload_param=none, offload_optimizer=cpu , zero_init=1
  150.62GB |   6.76GB | offload_param=none, offload_optimizer=cpu , zero_init=0
    1.46GB |  56.97GB | offload_param=none, offload_optimizer=none, zero_init=1
   75.31GB |  56.97GB | offload_param=none, offload_optimizer=none, zero_init=0

一条水里的鱼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Pytorch基础教程41】DeepSpeed分布式训练框架
发现问题，并解决问题，批判性思维
07-10 8527
在 DeepSpeed 中，可以通过在配置文件中设置 “bf16.enabled”: true 来启用 BF16 混合精度训练，减少占用内存。 混合精度训练是指在训练过程中同时使用FP16（半精度浮点数）和FP32（单精度浮点数）两种精度的技术。 deepspeed可以根据具体情况选择合适的通信库，例如在 CPU 集群上进行分布式训练，可以选择 mpi 和 gloo；如果是在 GPU 上进行分布式训练，可以选择 nccl。 mpi 是一种跨节点通信库，常用于 CPU 集群上的分布式训练； gloo 是一种高
单卡跑Llama 70B快过双卡，微软硬生生把FP6搞到了A100里 | 开源
量子位
04-29 42
克雷西 发自 凹非寺量子位 | 公众号 QbitAIFP8和更低的浮点数量化精度，不再是H100的“专利”了！老黄想让大家用INT8/INT4，微软DeepSpeed团队在没有英伟达官方支持的条件下，硬生生在A100上跑起FP6。测试结果表明，新方法TC-FPx在A100上的FP6量化，速度接近甚至偶尔超过INT4，而且拥有比后者更高的精度。在此基础之上，还有端到端的大模型支持，目前已经开源并集成...
一文搞懂大模型训练加速框架DeepSpeed的使用！
xiangxueerfei的博客
06-14 613
在AI领域，常见的深度学习框架TensorFlow、PyTorch和Keras无疑是开发者们的得力工具，但随着模型规模的急剧膨胀，这些传统框架在应对大模型时往往会显得力不从心。比如Pytorch的分布式并行计算框架DDP(Distributed Data Parallel)，尽管实现了数据并行，但是当模型大小超过单个GPU显存限制时显得捉襟见肘。此时，开发者往往只能手动进行复杂模型的参数拆分到各个GPU上，这无疑增加了研发的复杂性和门槛。然而，微软推出的一款框架——DeepSpeed，可解决这一局限。
[ deepSpeed ] 单机单卡本地运行 & Docker运行
大道至简
05-11 1012
本文笔者基于官方示例进行本地构建和Docker构建运行示例（下列代码中均是踩坑后可执行的代码，尤其是Docker部分）, 全部code可以看。
分布式训练&deepspeed的各stage
weixin_72100405的博客
03-06 340
⑧反向传播结果归到GPU0，由GPU0进行总计算，减小梯度，更新参数，再把更新后的模型重新复制三份到三个GPU。模型大小受限于单卡容量（第一张卡显存的85%左右大小的模型是比较合适的）假设一共有384张卡，每48张卡复制一个模型，那么数据可以分为8份【数据并行 n=8】ZeRO-3：对优化器状态、梯度、模型参数都进行分片（显存降低更多，但通信成本增加1.5倍）③每个模型对自己那部分数据前向传播。如果有三张卡，就会有三个模型（一个模型复制三份）ZeRO-2：对优化器状态、梯度都进行分片（显存降低8倍）
DeepSpeed加速大模型训练
08-17 1192
采用DeepSpeed来加速模型训练，对性能进行实际测试
[LLM]大模型训练DeepSpeed(三)
摩登都市天空---专栏
04-28 1360
在训练脚本中导入 DeepSpeed 模块：在训练脚本中导入 Trainer 模块：创建 Trainer 对象，将模型、训练数据集、优化器等参数传入：args=args,使用 DeepSpeed 命令行工具运行训练脚本（单机）：其中，--num_gpus表示使用的 GPU 数量。hostfile增加hostfile文件，填写host的相应的gpu数量(slots=4代表有4个gpu)include参数，指定机器和gpu,如下代表使用host1机器的3号和host2的2、3号gpu。
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 7279
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
deepspeed for windows
12-24
windows下pip无法安装deepspeed，需要编译，于是我编译了一下，有需要的可以试试 python3.8+pytorch1.12+windows10 DeepSpeed-0.9.2
deepspeed的参数
09-20
deepspeed的参数
DeepSpeed-master.zip
最新发布
07-19
github上下载太慢，git clone和zip都下载不成功，挂梯子也没用，windows又不能conda或者pip安装，必须得下载了配置
windows版deepspeed深度学习库
02-24
1.克隆源码 https://github.com/microsoft/DeepSpeed.git 2.在win10系统22H2版本...4.执行编译命令 python setup.py bdist_wheel ，大约20分钟后在dist目录生成deepspeed-0.8.2+81b4d5db-cp37-cp37m-win_amd64.whl文件
DeepSpeed System Optimizations Enable Training Deep Learning
10-23
DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters
DeepSpeed使用指南(简略版)
热门推荐
weixin_43301333的博客
10-10 5万+
Zero Redundancy Optimizer (ZeRO)是DeepSpeed的workhorse. 用户可以提供不同的ZeRO config文件，来实现DeepSpeed的不同功能特性。来看一下官网教程对ZeRO的描述：一句话总结：，划分而不是复制。即，传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。而ZeRO就是为了消除这种冗余，提高对memory的利用率。
[LLM]大模型训练DeepSpeed(二)
摩登都市天空---专栏
12-31 5537
在单节点情况下，DeepSpeed的配置更多地集中在指定的节点内，因此不需要显式指定hostfile，而可以通过命令行参数更灵活地控制使用的GPU资源。DeepSpeed模型训练的核心在于DeepSpeed引擎，它能够包装任意类型为torch.nn.module的模型，并提供了一组最小的API用于训练和模型检查点。在这些设置步骤中，DeepSpeed的启动脚本提供了多种命令行选项，使用户能够根据需求有效地控制分布式训练作业在多节点或单节点上使用的节点和GPU数量。
使用deepspeed并行训练模型的简单入门例程
diehualong的博客
10-16 3538
deepspeed不仅可以并行训练模型，而且可以解决大模型训练过程中，显卡内存不够用的问题。和DDP这种并行训练模型的方式的主要区别在于，deepspeed有zerosoffload技术，可以将参数部署到cpu上，和gpu一起训练，从而解决显卡内存不够的问题。本文章主要是介绍如何使用deepspeed简单使用，并没有考虑zerosoffload的技术，后面有时间再介绍一下如何使用。基于上述流程和deepspeed官方公布的使用代码，笔者提供了一个简单的deepspeed代码供参考。
DeepSpeed系列 -- 1 - 初识DeepSpeed
大海中的游鱼
12-18 4587
什么是DeepSpeed，它解决了什么痛点？
大模型入门（四）—— 基于peft 微调 LLaMa模型
chaishen10000的专栏
06-15 5964
库中的deepspeed方法，zero-3会将模型、梯度、优化器参数都分割到不同的GPU，并且使用cpu offload将一些中间变量放到cpu上，经实测使用两张GPU时，每张GPU的使用大概5个G多一点，单张卡的batch size可以设置到8，但是在实际训练过程中速度比DDP还要慢一点，这里的原因还是因为模型并行、CPU offload等带来了大量的通信工作，所以单张gpu能存放一整个模型时还是首推DDP。单GPU训练很好理解，训练的时候只要注意下面的一段代码即可，混合精度训练+梯度累积。
[LLM]大模型训练DeepSpeed(一)-原理介绍
摩登都市天空---专栏
05-17 2万+
DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比，DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中，主要优势在于支持更大规模的模型、提供了更多的优化策略和工具（例如 ZeRO 和 Offload 等）
deepspeed 安装
07-03
DeepSpeed是一个用于加速深度学习训练的库，特别设计为与PyTorch框架协同工作的优化器和工具包。它旨在提供高性能的分布式训练、混合精度（Mixed Precision Training）以及模型并行和数据并行的能力。 安装DeepSpeed通常涉及以下步骤： 1. **环境准备**： - 首先，确保你已经安装了Python和PyTorch。如果还没有，你可以从官方网站下载并安装。 2. **pip安装**： 使用`pip`命令直接安装是最常见的方式，可以在终端或命令提示符中输入： ```bash pip install deepspeed ``` 如果你的系统需要特定版本，可以添加`--upgrade`选项强制更新到最新版本，例如： ```bash pip install --upgrade deepspeed ``` 3. **验证安装**： 安装完成后，可以通过导入`deepspeed`模块并在Python环境中运行一些基本代码来检查是否成功安装： ```python import deepspeed print(deepspeed.__version__) ``` 运行这行代码，应该会显示DeepSpeed的当前版本号。 4. **配置文件**： DeepSpeed支持自定义配置文件来控制训练过程中的各种参数，比如数据加载策略、优化器选择等。创建一个`config.yaml`文件，然后用`deepspeed init`命令初始化。 ```bash deepspeed init --config your_config_file.yaml ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值