DeepSpeed学习笔记

于 2024-07-28 12:28:38 发布
阅读量199 收藏 3
点赞数 2
文章标签： 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jkjgj/article/details/138395422
版权

1 云服务器上运行HelloDeepSpeed

1.1 基本环境安装

# 下载代码
git clone https://github.com/microsoft/DeepSpeedExamples.git
# 进入示例程序文件夹
cd DeepSpeedExamples/training/HelloDeepSpeed

# 创建虚拟环境并安装需要的库
conda create -n deepspeed python==3.10
pip install -r requirements.txt
# 注意安装的torch版本必须和平台支持的cuda版本相一致
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu116

其中 requirements.txt 在原本的基础上改为（按原来的transformers版本安装会报错）：

deepspeed
datasets
tokenizers==0.15.2
transformers
tensorboard
fire==0.4.0
pytz==2021.1
loguru==0.5.3
sh==1.14.2
pytest==6.2.5
tqdm==4.62.3

1.2 不基于 deepspeed 引擎运行 train_bert.py

1.2.1 修改 train_bert.py

首先从huggingface上下载 wikitext/wikitext-2-v1 数据集，为 .arrow 格式。将数据集上传服务器，然后设置数据集本地读取，其中 ./dataset 是数据集存放目录。

# 源代码第237行左右读取数据集
wikitext_dataset = datasets.load_dataset("wikitext",
                                         "wikitext-2-v1",
                                         split="train")
# 更改后使用本地数据集
# wikitext_dataset = datasets.load_dataset("wikitext",
#                                          "wikitext-2-v1",
#                                          split="train")
wikitext_dataset = datasets.load_from_disk("./dataset")

从huggingface上下载tokenizers。将tokenizer上传到服务器，并设置更改使用本地的tokenizer，其中 ./tokenizer/roberta-base 是下载到本地的tokenizer。

# 源代码第243行左右设置tokenizer的获取
tokenizer = AutoTokenizer.from_pretrained(tokenizer)

# 更改后使用本地的tokenizer
# tokenizer = AutoTokenizer.from_pretrained(tokenizer)
tokenizer = AutoTokenizer.from_pretrained("./tokenizer/roberta-base")
1.2.2 修改 run.sh

加入服务器需要添加的环境、模块等。

#!/bin/bash

module load nvidia/cuda/11.6
module load mpich/3.4.1-gcc9.3
source activate deepspeed

python train_bert.py --checkpoint_dir ./experiment
1.2.3 运行
sbatch -p gpu -n 4 -N 2 --gres=gpu:4 run.sh

1.3 基于 deepspeed 引擎运行 train_bert_ds.py

1.3.1 修改 train_bert_ds.py

将数据集上传，然后设置数据集本地读取，其中 ./dataset 是从huggingface上下载的 wikitext/wikitext-2-v1 数据集，为 .arrow 格式

# 源代码第267行左右读取数据集
wikitext_dataset = datasets.load_dataset("wikitext",
                                         "wikitext-2-v1",
                                         split="train")
# 更改后使用本地数据集
# wikitext_dataset = datasets.load_dataset("wikitext",
#                                          "wikitext-2-v1",
#                                          split="train")
wikitext_dataset = datasets.load_from_disk("./dataset")

设置更改使用本地的tokenizer，其中 ./tokenizer/roberta-base 是下载到本地的

# 源代码第273行左右设置tokenizer的获取
tokenizer = AutoTokenizer.from_pretrained(tokenizer)

# 更改后使用本地的tokenizer
# tokenizer = AutoTokenizer.from_pretrained(tokenizer)
tokenizer = AutoTokenizer.from_pretrained("./tokenizer/roberta-base")
1.3.2 修改 run_ds.sh

加入服务器需要添加的环境、模块等。

#!/bin/bash

module load nvidia/cuda/11.6
module load mpich/3.4.1-gcc9.3
source activate deepspeed

deepspeed train_bert_ds.py --checkpoint_dir experiment_deepspeed $@
1.3.3 运行
sbatch -p gpu -n 4 -N 2 --gres=gpu:4 run_ds.sh

2 云服务器上基于deepspeed运行GAN

# 下载代码
git clone https://github.com/microsoft/DeepSpeedExamples.git
# 进入示例程序文件夹
cd DeepSpeedExamples/training/gan

# 创建虚拟环境并安装需要的库
conda create -n deepspeed python==3.10
pip install -r requirements.txt
# 注意安装的torch版本必须和平台支持的cuda版本相一致
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu116

# 加载mpi软件后，使用conda安装mpi4py，注意使用pip安装的话可能会报错。
module load mpich/3.4.1-gcc9.3
conda install mpi4py

其中 requirements.txt 在原本的基础上改为（按原来的transformers版本安装会报错）：

deepspeed
datasets
tokenizers==0.15.2
transformers
tensorboard
fire==0.4.0
pytz==2021.1
loguru==0.5.3
sh==1.14.2
pytest==6.2.5
tqdm==4.62.3

3 云服务器上运行deepspeed后端的Communication Benchmarks

4 云服务器上运行deepspeed后端的GPT

5 DeepSpeed代码结构分析

使用DeepSpeed的基本结构：

import deepspeed
import argparse
from torchvision.models import AlexNet

# 读取命令行参数，必须加上“local rank”
parser= argparse.ArgumentParser()
parser.add_argument("--local_rank", type=int, default=-1, help="local_rank for distributed training on gpus")
parser.add_argument('--backend', type=str, default='nccl', help='distributed backend')
parser = deepspeed.add_config_arguments(parser)  # 将添加一个["deepspeed", "deepspeed_config", "deepscale", "deepscale_config", "deepspeed_mpi"]组成的argument_group
args = parser.parse_args()

# 定义ds_config配置，json格式，根据需要修改
ds_config = {
    "train_micro_batch_size_per_gpu": 64,
    "optimizer": {
        "type": "Adam",
        "params": {
            "lr": 0.0002
        }
    }
}

# 获取数据集
dataset = torchvision.datasets.CIFAR10(root=dl_path,
                                            train=True,
                                            download=False,
                                            transform=transform)
dataloader = torch.utils.data.DataLoader(dataset, batch_size=batchSize, shuffle=True, num_workers=num_workers)

# 根据local_rank选择用于训练的卡
device = torch.device("cuda", args.local_rank)

# 初始化分布式训练环境
deepspeed.init_distributed()

# 初始化deepspeed环境下的模型
model = AlexNet(num_classes=10)
model_engine, optimizer, _, _ = deepspeed.initialize(args=args, model=model, model_parameters=model.parameters(), optimizer=optimizer, config=ds_config)

# 训练模型
for epoch in range(epochs):
    for step, data in enumerate(dataloader, 0):
        batch_data = data[0].to(device)
    	loss = model(batch_data)  # 前向传播
    	model.backward(loss)  # 反向传播
    	model.step()  # 梯度更新
    	if step % print_every == 0:
        	print("Loss: {0:.4f}".format(loss))

使用DeepSpeed的pipeline结构：

import deepspeed
import argparse
from torchvision.models import AlexNet

# 读取命令行参数，必须加上“local rank”
parser= argparse.ArgumentParser()
parser.add_argument("--local_rank", type=int, default=-1, help="local_rank for distributed training on gpus")
parser.add_argument('--backend', type=str, default='nccl', help='distributed backend')
parser = deepspeed.add_config_arguments(parser)  # 将添加一个["deepspeed", "deepspeed_config", "deepscale", "deepscale_config", "deepspeed_mpi"]组成的argument_group
args = parser.parse_args()

# 定义ds_config配置，json格式，根据需要修改
ds_config = {
    "train_micro_batch_size_per_gpu": 64,
    "optimizer": {
        "type": "Adam",
        "params": {
            "lr": 0.0002
        }
    }
}

# 获取数据集
dataset = torchvision.datasets.CIFAR10(root=dl_path,
                                            train=True,
                                            download=False,
                                            transform=transform)
dataloader = torch.utils.data.DataLoader(dataset, batch_size=batchSize, shuffle=True, num_workers=num_workers)

# 根据local_rank选择用于训练的卡
device = torch.device("cuda", args.local_rank)

# 初始化分布式训练环境
deepspeed.init_distributed()

# 初始化deepspeed环境下的模型
model = AlexNet(num_classes=10)

model = PipelineModule(layers=join_layers(model),
                         loss_fn=torch.nn.CrossEntropyLoss(),
                         num_stages=4,
                         partition_method="parameter",
                         activation_checkpoint_interval=0)

model_engine, optimizer, _, _ = deepspeed.initialize(args=args, model=model, model_parameters=[p for p in model.parameters() if p.requires_grad], training_data=trainset, optimizer=optimizer, config=ds_config)

# 训练模型
for epoch in range(epochs):
    for step, data in enumerate(dataloader, 0):
        batch_data = data[0].to(device)
        loss = engine.train_batch()  # 前向传播 + 反向传播 + 梯度更新
    	if step % print_every == 0:
        	print("Loss: {0:.4f}".format(loss))

6 参考文档：

  1. 官方文档：https://www.deepspeed.ai/tutorials/
  2. Huggingface教程：https://huggingface.co/docs/transformers/main/deepspeed
  3. 源代码：
  4. 示例程序代码：https://github.com/microsoft/DeepSpeedExamples/
  5. Megatron-DeepSpeed示例代码：https://github.com/microsoft/Megatron-DeepSpeed
  6. 知乎：https://zhuanlan.zhihu.com/p/630734624
沐岩:)
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java学习笔记总结
04-02
这份“java学习笔记总结”涵盖了作者在深入学习Java过程中积累的知识点和实践经验，旨在帮助读者理解和掌握Java的核心概念。 首先，Java的基础部分包括语法、变量、数据类型、运算符和流程控制。Java支持八种基本...
学习笔记学习笔记学习笔记
01-29
学习笔记学习笔记学习笔记
deepspeed笔记
zh515858237的专栏
04-18 331
传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。ZeRO Stage 3: 划分模型参数，或者说，不同的layer. ZeRO-3会在forward和backward的时候，自动将模型参数分配到多个memory。由于ZeRO-1只分配optimizer states(参数量很小)，实际使用的时候，我们一般只会考虑ZeRO-2和ZeRO-3。而ZeRO的实现方法，就是把参数占用，逻辑上分成三种类型。
svd StableDiffusion库学习笔记
jacke121的专栏
06-20 247
sd 库学习笔记
大模型全链路开源体系（学习笔记）
weixin_43681522的博客
04-21 1307
随着国内央企通用人工智能的兴起，为打造大模型生态应用，各类比赛也比较火热，近期看到了上海人工智能实验室在做的书生浦语大模型，繁忙的工作之余有些业余时间跟小伙伴一起学习、打比赛，是学习笔记，也是作业。2024年1月17日，InternLM 2 已经开源，面向不同的使用需求，每个规格包含三个版本。- 7B 适用轻量级的研究和应用。- 20B 可有效支持更加复杂的使用场景。--可塑性的模型基座。--在Base的基础上，在多个能力方向进行了强化，大部分应用中考虑适用的优秀基座。
大模型学习笔记十四：Agent模型微调
谢白羽
07-24 427
1、Agent Tuning 的主要动机是训练大模型的 Agent 能力，尤其是希望通过训练让小参数量模型也能具备特定业务场景的 Agent 能力；2、Agent Prompt 可以有不同的描述方式，通常包括等部分；3、可以采用自动评估和人工评估相结合的方法来评估 Agent 能力；4、采用 Meta-Agent 方法可以构建多样性的 Agent Prompt 模板，再结合Query、Tools的多样化，可以训练出能力更加泛化的模型。
Huggingface Accelerate 学习笔记
热门推荐
能找到答案的，只有自己
05-26 1万+
1. 前言 Accelerate 能帮助我们： 方便用户在不同设备上 run Pytorch training script. mixed precision 不同的分布式训练场景, e.g., multi-GPU, TPUs, … 提供了一些 CLI 工具方便用户更快的 configure & test 训练环境，launch the scripts. 方便使用： 用一个例子感受一下。传统的 PyTorch trainin..
deepxde 安装记录学习笔记
qq_41815479的博客
08-09 4648
deepxde 的backend修改
玩转deepspeed
程序认生
10-10 889
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
书生·浦语 大模型（学习笔记-6）XTuner 实战部署
m0_63181360的博客
04-25 1113
如果你是在 InternStudio 平台，则从本地 clone 一个已有 pytorch 的环境：# 如果你是在其他平台：# 激活环境# 进入家目录 （~的意思是 “当前用户的home路径”）cd ~# 创建版本文件夹并进入，以跟随本教程# 拉取 0.1.17 的版本源码# 无法访问github的用户请从 gitee 拉取:# 进入源码目录# 从源码安装 XTuner吐槽：下载真的慢，前面这一点准备工作搞了半天。
我的导航学习笔记仓库大改版，欢迎关注！！！（附整理的导航定位开源项目、相关网址、学习资源、导航设备）
daoge2666的博客
03-18 2217
我的导航学习笔记，内容涵盖导航定位开源程序的源码解读 ( 包括：RTKLIB、GAMP、SoftGNSS、KF-GINS、ORB-SLAM3 等)、各种导航设备的使用方式、书籍讲义、博客翻译、开源项目梳理、常用网站记录、Linux/Vim/Git/ROS/VSCode 常用命令、以及我作为双非导航工程本科生对于导航学习的思考感悟；本仓库会长期更新，分享出来，希望有人用得上，也激励着自己坚持学下去；所有内容都可以随意转载，可用于任何目的，不必征求我的意见；如果您觉得内容有价值，推荐用 Github-Deskt
Tensorflow2学习笔记
06-08
北大 曹健老师课程的学习笔记上传供个人留存使用
Python进阶学习笔记
06-10
Python进阶学习笔记
PHP个人学习笔记
03-13
PHP个人学习笔记
Linux：基础命令学习
qq_55038440的博客
07-20 1510
实例：-F根据文件类型在列出的文件名称后加一符号。实例： -R 递归显示目录中的所有文件和子目录。. 开头的隐藏文件也会列出。可执行文件则加 "*"，用于显示目录文件信息。
AvaloniaUI的学习
最新发布
lishuangquan1987的博客
07-25 791
官方中文文档：https://docs.avaloniaui.net/zh-Hans/docs/welcome。
Python编程学习第一篇——Python零基础快速入门（六）（4）异常处理
urhero的专栏
07-25 284
我们已经了解了Python的基本数据类型、变量和基本的逻辑控制语句，基于这些基础知识可以编写一些小程序了，但是在写程序的时候我们会发现，有时候程序并不是按我们预期的方向执行，有的直接报错，有的没有报错，却并未得到我们预期的结果。在这个例子中，除数为0会引发ZeroDivisionError异常，我们将异常信息赋值给变量e，并输出"除数不能为0"和异常信息。在这个例子中，由于除数不为0，所以没有发生ZeroDivisionError异常，代码会执行else语句块，并输出结果2.0。
虚拟机学习
weixin_63374588的博客
07-25 215
虚拟机的优点：虚拟机使用教程：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值