大模型训练和推理阶段的内存消耗估计

已于 2024-05-05 16:06:25 修改
阅读量2.2k 收藏 16
点赞数 17
文章标签： transformer 算法
于 2024-05-05 15:52:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guojiajiajiu/article/details/138466134
版权
本文详细探讨了Transformer模型在训练和推理阶段的内存消耗，包括模型自身占用、activations（注意力和MLP块）、optimizer states。以Mixtral-8x22B为例，强调了activations在内存中的重要性，并指出优化器如AdamW在微调时增加的内存需求。推理和训练时的内存消耗与序列长度、批次大小和模型参数有关。对于大规模模型，内存管理至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

上一篇文章提到了llama 3 8b 全量微调需要占用 Fine-tuning内存占用128.87GB的内存，主要包括三方面，分别是：

  • loading the model
  • optimizer states
  • activations

本文以Mixtral-8x22B为例来介绍各个阶段的内存消耗以及推理和训练时的内存消耗。

各阶段内存消耗

model 自身占用内存

要想知道模型有多少个参数，直接查看模型卡片即可
在这里插入图片描述
如果想在GPU上进行快速推理，就需要将模型完全加载到GPU内存中。对于“Command-R”需要193.72 GB的GPU显存；对于Mixtral-8x22B来说需要有262.63 GB的GPU内存；对于Llama 3 70B型号，其拥有131.5 GB的GPU内存（每个参数占用16 bit，即 2 bytes）

activations的内存消耗（重点）

首先需要知道以下信息：

  • max_seq_len，记为s
  • hidden_size，记为h
  • attention head的数量，记为a
  • layer number，记为l

标准的transformer block如下：
在这里插入图片描述
At the start of the network, the input tokens are fed into a word embedding table with size
v×h

最低0.47元/天 解锁文章
章章小鱼
关注
大模型竞争焦点：训练效率与推理成本
AI大模型应用之禅
10-16 137
大模型, 训练效率, 推理成本, 优化算法, 模型压缩, 量化, 硬件加速 1. 背景介绍 近年来，深度学习模型规模不断扩大，涌现出许多参数量达数十亿甚至千亿的“大模型”。这些大模型在自然语言处理、计算机视觉、语音识别等领域取得了突破性进展，展现出强大的学习能力和泛化能力。然而，大模
NLP高频面试题（三十七）——大模型训练和推理的显存估计
最新发布
WeLearnNLP
04-09 843
在训练和推理大型语言模型时，显存（GPU 内存）的需求是一个关键考虑因素。准确估计这些需求有助于选择合适的硬件配置，确保模型高效运行。
模型训练和推理过程中GPU显存都被哪些部分占用了
weixin_42254289的博客
08-01 654
模型训练和推理过程中GPU显存都被哪些部分占用了
深入解析大语言模型显存占用：训练与推理
十一月廿七风雨大作
03-27 9765
本篇文章将帮助你优雅又快速地拒绝老板。看完本篇《深入解析大语言模型显存占用：训练与推理》，你将对模型占用显存的问题有个透彻的理解。
推理的魅力：为何人们偏爱推理胜于训练大模型？
异构算力老群群（在读985计算机博士生）的技术博客
04-30 2387
在当今人工智能和机器学习领域，训练大型模型已成为一种常见做法，旨在通过海量数据让模型自我学习并提升性能。然而，越来越多的人发现，与其投入大量资源和时间去训练模型，不如将更多的精力放在推理上。本文将深入探讨这一现象，分析人们偏爱推理的原因并通过实例和比较来阐述推理的吸引力和优势。希望通过本文的阐述，能够让更多的人认识到推理在人工智能和机器学习领域的重要性，并激发大家对推理的热情和兴趣。随着科技的飞速发展，人工智能（AI）与机器学习（ML）已经成为当今科技领域的热点话题。
LLM——用于微调预训练大型语言模型（LLM）的GPU内存优化与微调
知来者逆的博客
05-06 2614
GPT-4、Bloom 和 LLaMA 等大型语言模型（LLM）通过扩展至数十亿参数，实现了卓越的性能。然而，这些模型因其庞大的内存需求，在部署进行推理或微调时面临挑战。这里将探讨关于内存的优化技术，旨在估计并优化在 LLM 推理以及在多样化硬件配置上进行微调过程中的内存消耗。模型规模：模型拥有的参数数量直接决定了其对内存的需求。参数数量越多，模型文件体积越大，加载和执行模型所需的内存也就越多。输入数据量：处理的输入数据量增加，也会相应增加内存的使用。
“烧钱”的大模型：初探成本拆解与推理优化方法
Baihai_IDP的博客
04-23 1350
编者按：大模型的成本问题一直以来是大家重点关注的问题，本文重点讨论了训练大型语言模型（LLMs）需要的成本，并简要介绍什么是LLM以及一些用于优化大模型推理表现的技术。虽然很难准确预测LLMs未来会怎么发展，但可以肯定，如果成本问题得到解决，LLM会成为我们生活中不可或缺的一部分！以下是译文，Enjoy!
大模型训练和推理
weixin_45325331的博客
02-27 4405
大模型训练moe是指混合专家（Mixture-of-experts，简称MoE）的，这是一种用于提高大型神经网络性能的技术，它可以将模型的一部分替换为多个专家，每个专家只负责处理一部分输入数据，从而增加模型的参数量和表达能力，同时减少计算量和训练时间。指令可以作为模型的输入的一部分，也可以作为模型的输出的一部分，具体取决于任务的类型。上下文扩展技术的，这是一种用于提高大型语言模型（LLM）对长文本的处理能力的技术，它可以让模型在不增加参数量的情况下，扩展其注意力范围，从而提高模型的语言理解和生成能力。
LLMs之Transformer：深度剖析类Transformer的大语言模型中的显存占用估计(显存占用构成，训练阶段/推理阶段)、耗时估计(计算量占用构成，训练阶段/推理阶段)之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-15 1843
​ LLMs之Transformer：深度剖析类Transformer的大语言模型中的显存占用估计(显存占用构成，训练阶段/推理阶段)、耗时估计(计算量占用构成，训练阶段/推理阶段)之详细攻略 目录 LLMs空间计算—显存占用估计 LLMs耗时计算—计算时间估计： LLMs空间计算—显存占用估计 Transformer模型的计算量主要集中在权重矩阵乘法计算。计算量分析表明，权重矩阵乘法的计算量相较于其他操作可以忽略不计。对于一个token，每个模型参数，需要进行2次浮点数运算。 显
一篇文章快速认识YOLO11 | 关键改进点 | 安装使用 | 模型训练和推理
热门推荐
黎国溥
10-08 2万+
本文分享YOLO11的关键改进点、性能对比、安装使用、模型训练和推理等内容。YOLO11 是 Ultralytics 最新的实时目标检测器，凭借更高的精度、速度和效率重新定义了可能性。除了传统的目标检测外，YOLO11 还支持目标跟踪、实例分割、关键点姿态估计、OBB定向物体检测（旋转目标检测）等视觉任务。1. YOLOv3：核心改进：YOLOv3 是 YOLO 系列的第三代，由 Joseph Redmon 于 2018 年发布，标志着 YOLO 从原始的单尺度检测进化到多尺度检测。
大模型训练中优化策略（数据并行、模型并行、ZeRO等）
2301_78285120的博客
02-18 1886
在微调时，模型显存占用主要包括和四个部分。对于一个参数量的模型，它的模型参数占用为：将模型参数视为基准，模型梯度占用量与模型参数相同。优化器主采用，它核心计算公式如下：由于需要保存 m 和 v，而 m 和 v 规模与参数梯度相同，因此优化器需要两倍显存容量。同时，在计算中得到的中间结果需要保存在显存中，以便反向传播时计算梯度。对于每一个中间结果，其数据形状为 [Batch, SeqLen, Dim]。
AI大模型的推理显存占用分析
酌沧
05-28 3653
了解Transformer架构的AI大模型显存占用是非常重要的，特别是在训练和推理过程中。
开源大模型推理GPU资源评估以及优化
CSDNDN的博客
10-09 2257
随着大模型的火热很多项目中都使用到了开源大模型，这时候准确评估大模型的GPU资源非常重要，主要有下面几个方面：GPU是昂贵的资源。高估内存需求可能导致在硬件上的不必要支出，而低估则可能导致系统故障或性能下降。：适当的内存管理确保模型高效运行，能够更快地响应用户并处理更多并发请求。：随着需求的增长，理解内存需求对于在不牺牲性能或产生高昂成本的情况下扩展服务至关重要。尽管其重要性显而易见，但计算用于服务大型语言模型（LLM）的GPU内存并不简单。
如何简单计算LLM推理和训练所需的GPU资源
xx_nm98的博客
08-03 1666
参数数量 * 精度（通常为 2 或 4 个字节）
LLM - 训练与推理过程中的 GPU 算力评估
BITDDD小栈
10-31 1万+
LLM 训练、推理流程中 GPU 算力的计算。
大模型推理显存需求
强化学习曾小健
06-27 5027
根据官方说明，Model Memory Calculator提供的结果与实际显存需求之间的误差通常在50MB以内（例如，对于bert-base-cased模型，实际运行需要的显存为413.68MB，而工具估算的结果为413.18MB）。Memory Calculator是由HuggingFace的Accelerate团队开发的在线工具，用户只需输入HuggingFace平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。
向毕业妥协系列之机器学习笔记:高级学习算法-神经网络（一）
长夜漫漫，无心睡眠
11-09 334
在这门课中，我将向你们介绍神经网络。然后影响一件T-shirt是否成为畅销品的有如下几个因素，一是顾客对于这件T恤的承担能力（即对于顾客来说这件T恤是贵了还是买的起），二是顾客对于这件T恤的认知程度，三是顾客对于这款衣服的质量的认知程度。看到右下角的第一层输出的激活值的计算公式，可以看到是个25行1列的列向量，因为第一个隐藏层有25个神经元，所以w，就得有25个小分量，b也同理。右下角是一个简单的神经元示例，这个神经元由输入（一个或多个数），有一个或多个输出，输出的就是那个f(x)，输出是概率。
tensorflow-gpu 和cpu使用训练ssd模型感想(显卡内存不足解决办法)
sunrise的博客
08-02 1万+
   ssd 模型对于GPU ,CPU来说都适用，但是通过我的训练de'd得到的一下经验来说，GPU训练时基本不到1秒每步，而cpu在使用avx2的基础上，训练的每步需要将近1分钟，可想而知GPU训练是cpu训练的60倍左右，这将大大提高大家的训练速度。   而且，之前我yong用cpu版本训练时ssd model训练1000步需要花7-8个小时，现在用GPU只需要10分钟就足以，由此可见，对于...
训练模型，内存、显存Out of memory问题
夏目里奇的博客
01-17 6635
1.背景 最近尝试训练模型时，出现内存不足的问题，此外还遇到了显存不足的问题。 尝试了网上的一些方法，发现没用或用不了： 混合精度运算 即半浮点数精度训练，首先试了apex这个库，结果发现没用，别的博客说pascal构架的显卡用不了，结果笔记本1050ti好像就是此构架。手动设置所有float()为half()类型，也还是不行。 降低批次 已经为1了，还怎么降，索性去掉BN层，然后还是提示显存...
大模型 推理 训练 显存计算
02-04
### 大模型推理与训练时显存计算方法 #### 显存需求分析 在大模型的训练和推理过程中，显存的需求主要取决于以下几个方面： - **批处理大小**：较大的批次可以提高硬件利用率，但也增加了显存消耗。对于训练而言，每一批次都需要存储输入数据、中间激活值以及反向传播所需的梯度信息[^1]。 - **网络结构复杂度**：更深更宽的神经网络会占用更多资源来保存权重矩阵和其他参数。特别是当存在残差连接或其他复杂的层间依赖关系时，这些都会增加额外开销。 - **优化器状态变量**：像Adam这样的自适应学习率优化算法会在每次迭代中维护动量项和平滑平方梯度估计等辅助变量，这同样占用了宝贵的GPU内存空间。 #### 训练期间显存管理策略 为了有效控制并减少训练过程中的显存使用量，可采取如下措施： ##### 混合精度浮点数表示法 采用FP16代替传统的FP32作为默认数值类型来进行前向/后向传递运算操作。由于现代NVIDIA GPU支持Tensor Cores技术，在执行半精度乘加指令时能获得显著性能提升的同时还降低了带宽压力。不过需要注意的是，某些特定情况下可能会影响最终收敛效果，因此建议配合损失尺度机制共同应用以确保稳定性[^2]。 ```python import torch.cuda.amp as amp scaler = amp.GradScaler() with autocast(): output = model(input) loss = criterion(output, target) scaler.scale(loss).backward() sccaler.step(optimizer) ``` ##### 参数冻结与分组更新 如果部分子模块已经充分预热，则可以在后续轮次里暂时固定住其对应的权值不变；而对于那些仍然处于活跃调整期的关键组件则继续沿用常规的学习速率进行微调。此外还可以考虑按照功能划分成若干独立单元分别施加不同强度约束条件从而实现更加精细粒度上的动态平衡调节. #### 推理阶段显存节省手段 相比于训练模式下更为宽松的要求，预测任务往往只需关注正向传播路径即可完成目标输出生成工作。基于此特点，下面列举了一些有助于降低实际部署环境中所需配置规格的有效途径： - **剪枝瘦身**：移除冗余节点及其关联边构成精简版架构版本，既不影响整体表现又能大幅削减静态分配额度。 - **量化压缩**：利用低比特整型近似替代原有高维实数表达形式，进而达到缩减体积的目的。例如INT8相较于原生float32大约节约75%左右的空间成本。 - **图优化编译工具链集成**：借助ONNX Runtime/XLA之类框架所提供的高级特性自动识别潜在瓶颈环节并通过重写转换等方式进一步挖掘潜力释放潜能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值