huggingface 笔记：device_map

最新推荐文章于 2025-03-13 15:02:08 发布
最新推荐文章于 2025-03-13 15:02:08 发布
阅读量8.8k 收藏 11
点赞数 10
分类专栏： python库整理 文章标签： 笔记 java 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/139199403
版权

  • 1 基本映射方法 

  • 设计设备映射时，可以让Accelerate库来处理设备映射的计算
  • 通过设置device_map为支持的选项之一（"auto"、 "balanced"、 "balanced_low_0"、 "sequential"）；或者如果想更精确地控制每一层应该去哪里，也可以自己创建一个设备映射
"auto" 和 "balanced" 在所有可用的GPU上均匀分配模型
"balanced_low_0"

在除了第一个GPU之外的所有GPU上均匀分配模型，并且只有在其他GPU放不下时，才在GPU 0上放置内容

当你需要在生成 Transformers 模型的输出时使用GPU 0进行一些处理时，这个选项非常有用
"sequential" 尽可能在GPU 0上放置内容，然后移动到GPU 1，依此类推（如果不需要，就不会使用最后的GPU）

2  max_memory

  • 在infer_auto_device_map中，通过使用max_memory参数来限制每个GPU上使用的内存
  • 设置max_memory时，你应该
最低0.47元/天 解锁文章
利用device_map实现多卡训练：model = AutoModelForCausalLM.from_pretrained(model_name, device_map=‘auto‘)【取代DP】
u013250861的博客
03-06 3264
【代码】利用device_map实现多卡训练：model = AutoModelForCausalLM.from_pretrained(model_name, device_map='auto')【取代DP】
device_map参数 ChatGLM训练
强化学习曾小健
07-03 1万+
是一种精度降低技术，它将模型的权重从32位浮点数转换为16位浮点数，这可以节省内存并提高计算速度，但可能会稍微降低精度。这可能是因为在多GPU环境中，开发者可能想要手动控制模型在哪个GPU或哪些GPU上运行，而不是简单地默认移到一个GPU上。方法，这可能意味着你的代码片段可能是更大代码环境的一部分，而这个更大的环境可能处理了多GPU的设备映射。，这意味着没有指定设备映射，因此代码默认在单一设备上（可能是主GPU或CPU）执行模型。，可以将模型的不同部分分配到不同的GPU设备上，以实现数据并行。
大模型LLM基于PEFT的LoRA微调详细步骤---第二篇：环境及其详细流程篇
最新发布
ultingCSDN的博客
03-13 1072
基于PEFT参数高效微调的LORA实战代码
【AI大模型】Transformers大模型库（七）：单机多卡推理之device_map
人工智能领域博客
06-11 1万+
本文简要介绍了device_map="auto"等使用方法，多数情况下与CUDA_VISIBLE_DEVICES=1,2,3一起使用，可以简单高效的进行多卡分布式推理及训练计算，至于多机多卡场景，多用torchrun和deepspeed等，后面文章会专门进行系统讲解。
accelerate 分布式技巧-- 模型参数设备分配（二）
发呆的比目鱼的博客
09-07 1474
accelerate 分布式技巧-- 模型参数设备分配（二）
Linux 内核中的 Device Mapper 机制
weixin_34210740的博客
11-13 1139
Linux 内核中的 Device Mapper 机制 尹 洋, 在读博士生 尹洋，中科院计算所国家高性能计算机工程技术研究中心的在读博士生，主要从事服务部署和存储资源管理以及Linux块设备一级的开发和研究工作。 简介：本文结合具体代码对 Linux 内核中的 device mapper 映射机制进行了介绍。Device mapper 是 Lin...
【大模型】Transformers库单机多卡推理之device_map
酒酿小圆子呀～
07-17 1万+
Hugging Face的库支持自动模型（AutoModel）的模型实例化方法，来自动载入并使用GPT、ChatGLM等模型。在方法中的device_map参数，可实现单机多卡推理。
huggingface大模型载入
子燕若水的博客
02-07 3941
【代码】huggingface大模型载入。
Device mapper
li_jiejun的专栏
06-21 1813
Device mapper   基本概念 Device mapper是Linux内核中提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略   基本原理及其构造     构造 整个device mapper机制由两部分组成--内核空间的device mapper驱动、用户空间的device mapp
tensorflow指定运算设备tf.device（GPU：Device mapping）
shitoucoming的博客
03-09 1542
tf.device(设备) import tensorflow as tf # tensorflow指定运算设备 with tf.device('/cpu:0'): # 这个代码块中定义的操作，会在tf.device给定的设备上运行 # 有一些操作，是不会在GPU上运行的（注意了） 所以建议如果安装的是GPU版本，把参数 allow_soft_placement设为True ...
huggingface 笔记：聊天模型
qq_40206371的博客
05-21 929
在原来生成的chat的基础上，追加一条消息，并将其传入pipeline。
huggingface笔记：实例化大模型（Acclerate）
qq_40206371的博客
05-30 623
要在 Transformers 中启用大模型推理，在。
huggingface 笔记：pipeline
qq_40206371的博客
05-13 730
【代码】huggingface 笔记：pipeline （quick tour教程）
huggingface 笔记：AutoTokenizer,AutoClass, AutoModel
qq_40206371的博客
05-13 626
AutoClass 是一个快捷方式，它可以自动从模型的名称或路径检索预训练模型的架构。只需要为任务选择适当的 AutoClass 及其关联的预处理类。
【大模型运行漫长的开始】 关于多GPU使用 device_map
热门推荐
CSTGYinZong的博客
04-08 1万+
这是通过自定义采样器实现的，它可以在训练期间自动将部分批次发送到不同的设备，从而允许每个设备只需要储存数据的一部分，而不是一次将数据复制四份存入内存。在模型的前向传播和反向传播过程中，每个部分都会被正确地分配到指定的设备上进行计算。在深度学习中，模型通常由多个层和参数组成，这些层和参数可以在不同的设备上进行计算和存储。它是一个用于指定模型中各个部分所在设备的映射表，它可以简单控制模型层部署在哪些硬件上。如果你有特殊的需求，需要使用指定的显卡那就需要设置这个需要device map 字典。
利用 device_map、torch.dtype、bitsandbytes 压缩模型参数控制使用设备
u013250861的博客
03-06 1182
为了提升效率，最好是你的 device map 是按照 GPU 顺序，序贯的配置参数（例如不要在 GPU 0 上加载第一个全在，在 GPU 1 上再加载，然后权重又回到 GPU 0，交叉来回会降低模型推理速度）。目前无法将 44 位的模型上传到 HF 的 Hub 里，88 位的模型如果使用最新的包可以上传到 Hub 中。当读者没有足够GPU显存来加载完整的模型（因为都会按照先占满GPU显存，再占满CPU/内存资源，最后占据硬盘的顺序来完成模型加载），上面所有的选项得到的层和设备对应结果将会相同。
transformers库的模型在加载之后，重新设置device_map=auto
WGS.
06-11 520
transformers库的模型在加载之后，重新设置device_map=auto
优化相关
qq_45382733的博客
03-03 323
1、Device Map 的选项设置 【Pango Design Suite 用户手册.pdf】第86页有可选项可用于优化。
Accelerate 0.24.0文档 三：超大模型推理（内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理）
qq_56591814的博客
11-16 5122
简称 mmap tensors，是PyTorch提供的一种特殊的tensors,它允许将数据存储在磁盘文件中，而不占用宝贵的RAM内存，CPU可以直接对磁盘文件中的数据进行读写操作，就像操作RAM中的tensors一样。同样的，也可以方便创建模型，而无需加载权重。您可以使用 max_memory 参数来限制每个 GPU 和CPU上使用的内存，赋予GPU应该传递标识符（例如 0,1），内存值可以是整数（以字节为单位），也可以是表示数字及其单位的字符串，例如 “10GiB” 或 “10GB”。
达梦给表hm_sys.sys_dms_obj_map的SRC_FIELD字段中每个值最后加上,psrtype,device_asset_id
05-12
好的，你可以使用以下 SQL 语句来更新表 hm_sys.sys_dms_obj_map 的 SRC_FIELD 字段： ``` UPDATE hm_sys.sys_dms_obj_map SET SRC_FIELD = CONCAT(SRC_FIELD, ',psrtype,device_asset_id'); ``` 这会将 SRC_FIELD 字段中的每个值都添加上 ",psrtype,device_asset_id"。注意，如果 SRC_FIELD 字段中已经包含了这个字符串，那么它们也会被重复添加。如果你只想添加一次，可以使用下面的 SQL 语句： ``` UPDATE hm_sys.sys_dms_obj_map SET SRC_FIELD = CONCAT(SRC_FIELD, IF(INSTR(SRC_FIELD, ',psrtype,device_asset_id') > 0, '', ',psrtype,device_asset_id')); ``` 这个语句会先检查 SRC_FIELD 字段中是否已经包含了 ",psrtype,device_asset_id"，如果已经包含了，就不会再添加了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值