大模型显存占用分析

已于 2024-04-02 09:15:53 修改
阅读量465 收藏
点赞数
分类专栏： 大模型 文章标签： nlp
于 2024-04-02 08:47:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50008473/article/details/137255446
版权
本文分析了在使用FP16存储时，序列输入长度为s，输出长度为n的情况，大模型如GPT3-175B的kvcache显存占用。峰值显存计算公式为4blh(s+n)，其中b表示batch size，l和h分别为层数和隐藏层大小。以GPT3-175B为例，模型在FP16下占用的显存为350GB。
摘要由CSDN通过智能技术生成

kvcache显存占用分析

假设序列输入长度：s，输出长度：n，数据类型以FP16来保存KV cache。
峰值显存占用：b(s+n)hl2*2=4blh(s+n)
注：b表示batch size，第一个2表示k/v cache，第二个2表示FP16占2字节。

例：GPT3-175B，模型占用显存：350G（FP16），层数l为96，维度h为12888。

batch_sizes+nKV cache(G)KV cache/weight
44096810.23
venvin.
关注
专栏目录
订阅专栏
极智AI | 算一算大模型显存占用
极智视界
09-27 320
大家好，我是极智视界，本文来介绍一下 算一算大模型显存占用
【大模型实战篇】大模型显存资源计算以及GPU如何选择
源泉的小广场
09-05 2418
大模型、GPU、大模型显存资源计算、LLM、模型资源估算、计算公式、大模型资源因素、显存计算器、数值精度、GPU选型、大模型部署
大模型GPU显存占用计算
weixin_44532170的博客
12-03 6026
以参数量13B大模型为例，其中B是Billion，代表十亿参数，13B就是130亿参数其中每个参数全精度是fp32，也就是float32，占用32位bit，也就是4byte字节。那么全精度13B模型占用。
AI大模型推理性能优化之KV Cache
datian1234的博客
09-17 954
KV Cache（键-值缓存）是一种在大模型推理中广泛应用的优化技术，其核心思想是利用缓存 key 和 value 来避免重复计算，从而提高推理效率。代价是显存占用会增加。
深入解析大语言模型显存占用：训练与推理
十一月廿七风雨大作
03-27 6195
本篇文章将帮助你优雅又快速地拒绝老板。看完本篇《深入解析大语言模型显存占用：训练与推理》，你将对模型占用显存的问题有个透彻的理解。
LLM大模型显存计算
weixin_40777649的博客
01-12 6306
1b(10亿)个模型参数，约占用4G显存(实际大小：10^9 * 4 / 1024^3 ~= 3.725 GB)，那么LLaMA的参数量为7b，那么加载模型参数需要的显存为：3.725 * 7 ~= 26.075 GB。综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右。例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为。int8 的 LLaMA-6B，AdamW 需要 6B。
一文讲明白大模型显存占用（只考虑单卡）
Python_cocola的博客
08-21 1695
顾名思义，混合精度训练就是将多种不同的精度数据混合在一起训练，《 MIXED PRECISION TRAINING 》这篇论文里将FP16和FP32混合，优化器用的是Adam，如下图所示：MIXED PRECISION TRAINING论文里的训练流程图按照训练运行的逻辑来讲：Step1:优化器会先备份一份FP32精度的模型权重，初始化好FP32精度的一阶和二阶动量（用于更新权重）。Step2:开辟一块新的存储空间，将FP32精度的模型权重转换为FP16精度的模型权重。
深入解析大模型显存占用大小：公式、推导及实例分析
最新发布
weixin_41174300的博客
10-03 807
在深度学习中，模型的显存（GPU memory）占用是决定训练和推理效率的关键因素之一。特别是近年来，随着模型参数规模的不断增长，显存的合理分配和优化变得至关重要。本文将深入讲解模型在显存上的主要占用来源，提供详细的计算公式和具体例子，帮助读者理解显存需求的不同来源及如何进行优化。
0028-极智AI-解读算一算大模型显存占用-个人笔记
08-28
0028_极智AI_解读算一算大模型显存占用-个人笔记
deepspeed&zero及大模型显存占用
Caleb_X的博客
08-24 1237
在训练期间，激活会占用大量内存。现看baseline，即没有优化的时候，多卡数据并行的方式：每个GPU都拿到模型的全部，包括优化器参数、模型参数，梯度，然后各个GPU拿自己的数据计算完的前向计算及反向梯度计算之后（这个时候算的是自己那部分数据对应的），会做一次gather的操作，可以理解为某一个GPU充当一个master，把各个GPU算的梯度一起拿过来，合成一个全局的梯度。* 模型梯度算出来之后，要用梯度来更新模型参数的时候，会用fp32来进行更新，也就是说，原始的参数有一份一直存着的fp32的副本。
训练大模型时显存占用影响因素总结(以starcoderplus 15.5B为例)
行步至春深
06-22 1732
背景：实验室计算资源紧张，单卡最大显存是RTX 3090 24G， 但是又要用大模型(指参数量达到10B)做实验。
显存不够用？一种大模型加载时节约一半显存的方法
weixin_45794268的博客
04-18 1384
上述创建，模型占用 显存, x是指模型的大小 有些时候我们把模型保存到本地硬盘中 之后需要用到之前保存的模型（两倍显存消耗） 我们需要两倍的显存来加载我们之前存储过的权重 如果我们有一个巨大的模型，这是有问题的，因为我们需要两倍的空闲RAM。例如，假设我们有16GB的RAM，而我们的模型使用10GB。加载它需要20GB，我们需要改变我们的策略。 Recently, PyTorch introduced the device. When you put a tensor to the meta de
AI大模型的推理显存占用分析
酌沧
05-28 2787
了解Transformer架构的AI大模型显存占用是非常重要的，特别是在训练和推理过程中。
大模型中 KV Cache 原理及显存占用分析
木尧大兄弟
07-12 1606
大模型推理阶段 KV Cache 的原理及显存占用情况。
A100单机多卡大模型训练踩坑记录（CUDA环境、多GPU卡住且显存100%）
木尧大兄弟
04-28 8744
大模型A100单机多卡训练踩坑记录
大模型实践第五节课笔记
weixin_46239415的博客
03-11 1065
首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。
Transformer推理性能优化技术很重要的一个就是K V cache，能否通俗分析，可以结合代码?
张伟的专栏
04-19 3281
KV cache对应的优化方法，总结成下表：​由上表可以看出，KV cache是个值得投入精力去研究的一个重要方向，算法上有着许多未知的方法可以去探索，工程上相对滞后，至少在主流推理框架上对部分方向的优化策略相对保守，这就给了足够多的机会。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值