利用device_map实现多卡训练：model = AutoModelForCausalLM.from_pretrained(model_name, device_map=‘auto‘)【取代DP】

最新推荐文章于 2024-10-08 12:44:31 发布

u013250861

最新推荐文章于 2024-10-08 12:44:31 发布

阅读量2.3k

点赞数

分类专栏： # LLM/预训练&SFT 文章标签：深度学习人工智能机器学习

本文链接：https://blog.csdn.net/u013250861/article/details/136493834

版权

LLM/预训练&SFT 专栏收录该内容

84 篇文章 89 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在深度学习项目中利用device_map参数进行多GPU训练，特别是通过AutoModelForCausalLM的from_pretrained方法，替代原有的DataParallel（DP）方式，提升训练效率。

摘要由CSDN通过智能技术生成

config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map='auto', trust_remote_code=

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

u013250861

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

device_map参数 ChatGLM训练

人工智能曾小健

07-03

1万+

是一种精度降低技术，它将模型的权重从32位浮点数转换为16位浮点数，这可以节省内存并提高计算速度，但可能会稍微降低精度。这可能是因为在多GPU环境中，开发者可能想要手动控制模型在哪个GPU或哪些GPU上运行，而不是简单地默认移到一个GPU上。方法，这可能意味着你的代码片段可能是更大代码环境的一部分，而这个更大的环境可能处理了多GPU的设备映射。，这意味着没有指定设备映射，因此代码默认在单一设备上（可能是主GPU或CPU）执行模型。，可以将模型的不同部分分配到不同的GPU设备上，以实现数据并行。

【大模型运行漫长的开始】关于多GPU使用 device_map

CSTGYinZong的博客

04-08

7169

这是通过自定义采样器实现的，它可以在训练期间自动将部分批次发送到不同的设备，从而允许每个设备只需要储存数据的一部分，而不是一次将数据复制四份存入内存。在模型的前向传播和反向传播过程中，每个部分都会被正确地分配到指定的设备上进行计算。在深度学习中，模型通常由多个层和参数组成，这些层和参数可以在不同的设备上进行计算和存储。它是一个用于指定模型中各个部分所在设备的映射表，它可以简单控制模型层部署在哪些硬件上。如果你有特殊的需求，需要使用指定的显卡那就需要设置这个需要device map 字典。

参与评论您还未登录，请先登录后发表或查看评论

【AI大模型】Transformers大模型库（七）：单机多卡推理之device_map

人工智能领域博客

06-11

7149

本文简要介绍了device_map="auto"等使用方法，多数情况下与CUDA_VISIBLE_DEVICES=1,2,3一起使用，可以简单高效的进行多卡分布式推理及训练计算，至于多机多卡场景，多用torchrun和deepspeed等，后面文章会专门进行系统讲解。

“AutoModelForCausalLM.from_pretrained“参数说明

最新发布

qq_42755230的博客

10-08

2070

AutoModelForCausalLM.from_pretrained参数说明

Device Mapper 代码分析

SonicLing的专栏

04-08

1万+

Device Mapper（DM）是Linux 2.6全面引入的块设备新构架，通过DM可以灵活地管理系统中所有的真实或虚拟的块设备。DM以块设备的形式注册到Linux内核中，凡是挂载（或者说“映射”）于DM结构下的块设备，不管他们是如何组织，如何通讯，在Linux看来都是一个完整的DM块设备。因此DM让不同组织形式的块设备或者块设备集群在Linux内核面前有一个完整统一的DM表示。一、DM

【大模型】Transformers库单机多卡推理之device_map

酒酿小圆子呀～

07-17

4231

Hugging Face的库支持自动模型（AutoModel）的模型实例化方法，来自动载入并使用GPT、ChatGLM等模型。在方法中的device_map参数，可实现单机多卡推理。

AutoModelForCausalLM.from_pretrained 函数调用本地权重报错

G果的博客

05-10

2891

在终端直接运行finetune_lora.sh文件，–model_name_or_path该参数是指定加载的模型权重，可以是huggingface上的model_name，也可以使本地保存模型权重的路径。两种权重其实都可以使用，大小都一致，要想只使用.bin权重文件，需要删除.safetensor文件和对应的.safetensor.index.json文件才可以。若只想使用.bin权重文件，但是.bin.index.json文件有残留，运行就会报错找不到.safetensor权重文件。

实在没想到跑模型指标的时候卡这里了| AutoModelforcauselLM，报显存溢出

LuckyYH__的博客

08-22

376

显存溢出问题通常与模型大小、显存优化配置、并行策略、模型精度和中间变量管理有关。通过适当的调整和优化，可以有效地解决显存溢出问题。

【笔记】AutoModelForCausalLM

weixin_50862344的博客

06-05

2万+

初学者肯定有很多不对头的地方，麻烦大家多多指点！！！

pytorch之多GPU使用——#CUDA_VISIBLE_DEVICES使用 #torch.nn.DataParallel() #报错解决

夏普通

06-14

9万+

文章目录1. 使用所有存在的显卡2. 指定编号使用显卡3. os.environ["CUDA_VISIBLE_DEVICES"]详解3.1. ["CUDA_VISIBLE_DEVICES"]使用3.2. 关于设置["CUDA_VISIBLE_DEVICES"]无效的解决4. torch.cuda主要函数4.1. torch.cuda.is_available()判断GPU是否可用4.2. torch.cuda.device_count()查看可用GPU数量4.3. torch.cuda.current_de

PyTroch笔记 - 多GPU分布式训练

Mystra

08-22

1044

模型并行：模型较大，拆分为不同模块，放在不同的GPU上运行，在第1个GPU的输出结果，输入到第2个GPU运行，串行。不要把张量当入日志中输出，使用“.item()”转换为python的数据类型。数据并行：数据放在不同的GPU上跑，模型放在同一个GPU上，并行。代码：使用os.envisorn，例如。argparse，从命令行中接收参数，加载完模型数据，可以进行模型的拷贝，(v1.0版本，已经很少使用 )优点：多进程执行多卡训练，效率高。PyTorch分布式训练。(推荐)，简称DDP。判断CUDA是否可用。

ChatGLM LoRA微调实战方案

热门推荐

herosunly的博客

04-28

17万+

本文主要介绍了ChatGLM LoRA微调实战方案，希望对学习大语言模型的同学们有所帮助。微调后的推理截图如下所示。文章目录 0. 简介 1. 安装虚拟环境 2. 下载文件 2.1 下载源代码 2.2 下载模型依赖文件 2.3 下载模型文件 3. 安装依赖库 4. LoRA微调 4.1 下载源代码 4.2 数据格式转换 4.3 tokenize 4.4 微调 5. 推理

【技术总结】Pytorch 多卡训练例程解析

S_Kross的博客

01-08

1001

在Pytorch中，DDP训练模式可以利用单机上的多块显卡进行训练，能够保证训练时所有显卡的显存消耗相同（如果分配的数据量相同）。在多卡训练过程中，原理上时启动多进程训练，进程之间依赖网络通讯共享梯度。

Transformers模型实例化方法：AutoModel、AutoModelForCausalLM

酒酿小圆子呀～

07-17

2234

Transformers包括管道pipeline、自动模型auto以及具体模型三种模型实例化方法，如果同时有配套的分词工具（Tokenizer），需要使用同名调度。在上述三种应用方式中：管道方式使用最简单，但灵活度最差；具体模型方式使用复杂，但是灵活度最高。通常我们在实际应用中，比较推荐使用自动模型(AutoModel)方式。

LLM - 读取 Lora 模型进行文本生成

BITDDD小栈

07-14

5973

加载预训练模型和Lora微调模型实现文本生成。

开源LLM微调训练指南：如何打造属于自己的LLM模型

FrenzyTechAI的博客

07-05

6834

今天我们来聊一聊关于LLM的微调训练，LLM应该算是目前当之无愧的最有影响力的AI技术。尽管它只是一个语言模型，但它具备理解和生成人类语言的能力，非常厉害！它可以革新各个行业，包括自然语言处理、机器翻译、内容创作和客户服务等，成为未来商业环境的重要组成部分。

huggingface大模型载入

子燕若水的博客

02-07

3603

【代码】huggingface大模型载入。

大模型微调踩坑记录 - 基于Alpaca-LLaMa+Lora

anycall201的博客

04-11

1万+

大模型微调训练时，遇到icetk、bitsandbytes报错的解决方案

在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化

deephub

08-05

4239

我们已经介绍了梯度检查点、LoRA和量化，让我们编写代码来对LLM进行微调。TaskType,model,r=64,这样模型就可以在本地的GPU上进行微调了。通过创建SFTTrainer (Trainer的一个子类，可以处理我们到目前为止讨论的所有内容)使这个过程变得更加容易。model,在本文中，介绍了大型语言模型微调过程中出现的一个挑战:如何在单个GPU上进行微调。我们介绍了3种技术来减少内存占用:梯度检查点、LoRA和量化。

AutoModelForCausalLM.from_pretrained如何实现多卡并行传输

01-06

AutoModelForCausalLM.from_pretrained方法可以实现多卡并行传输。具体实现步骤如下： 1. 首先，通过调用from_pretrained方法加载预训练模型，并传入相关参数，如模型路径、配置、数据类型、内存使用等。 2. 如果检测到有多个GPU可用（通过torch.cuda.device_count()判断），则进入多卡加载的分支。 3. 在多卡加载分支中，首先使用accelerate库的infer_auto_device_map函数根据模型和内存限制自动分配设备映射。 4. 然后，使用accelerate库的dispatch_model函数将模型分发到各个设备上，实现多卡并行传输。 5. 最后，打印设备映射信息，表示多GPU预测已启用。 6. 如果只有一个GPU可用，则进入单卡加载分支，将模型移动到GPU上。下面是一个示例代码： ```python from transformers import AutoModelForCausalLM import torch ori_model_path = "path/to/pretrained_model" config = "path/to/config" bc_model = AutoModelForCausalLM.from_pretrained( ori_model_path, config=config, torch_dtype=torch.float16, low_cpu_mem_usage=True, trust_remote_code=True, revision='main', device_map='auto' ) if torch.cuda.device_count() > 1: from accelerate import dispatch_model from accelerate.utils import infer_auto_device_map, get_balanced_memory device_map = infer_auto_device_map(bc_model, max_memory=get_balanced_memory(bc_model)) bc_model = dispatch_model(bc_model, device_map) print('multi GPU predict => {}'.format(device_map)) else: bc_model = bc_model.cuda() print("single GPU predict") ```