大模型GPU显存占用计算

最新推荐文章于 2024-08-21 19:37:53 发布
最新推荐文章于 2024-08-21 19:37:53 发布
阅读量5.6k 收藏 35
点赞数 25
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44532170/article/details/134601507
版权

以参数量13B大模型为例，

其中B是Billion，代表十亿参数，13B就是130亿参数

其中每个参数全精度是fp32，也就是float32，占用32位bit，也就是4byte字节。

1GB= 1024MB= 1024^{2}KB=1024^{3}Byte

那么全精度13B模型占用13\times 10^{9}\times 4Byte\div 1024^{3}\approx 48.4GB

全精度全参数微调训练

训练的显存主要由四部分组成：模型参数、梯度参数、优化器参数、数据的中间计算结果

如果进行全量fp32精度训练，模型参数需占用48.4GB，每个参数对应一个梯度，那么梯度参数同样需占用48.4GB。

优化器参数，是根据梯度来计算的，以Adam优化器来说，其计算和更新如下：

m_{t}=\beta _{1}m_{t-1}+\left ( 1-\beta _{1} \right )g_{t}

v_{t}=\beta _{2}v_{t-1}+\left ( 1-\beta _{2} \right )g{_{t}}^{2}

最低0.47元/天 解锁文章
阳光劲仔小鱼干
关注
大模型显存占用分析
weixin_50008473的博客
04-02 386
注：b表示batch size，第一个2表示k/v cache，第二个2表示FP16占2字节。例：GPT3-175B，模型占用显存：350G（FP16），层数l为96，维度h为12888。假设序列输入长度：s，输出长度：n，数据类型以FP16来保存KV cache。峰值显存占用：b(s+n)h。
模型显存占用及其计算量
热门推荐
u012370185的博客
07-11 1万+
1. 显存的占用 当在GPU上跑一个模型时，显存的占用主要有两部分： 模型的输出（特征图、特征图的梯度）、模型的参数（权重矩阵、偏置值、梯度） 1. 模型参数的显存占用：（例如：卷积核的参数、BN层、全连接层的参数等（池化层没有参数）） 2. 如果是在训练阶段，需要反向传播更新参数值，所以每个参数都需要存储梯度。所以模型参数的显存占用，与采用的优化器有关。 1）如果使...
大模型不同参数下的模型显存计算公式
志在创建优质博客、通俗易懂、助力大家提高学习效率！
03-16 6218
在这个基础上跑一次原始参数量的推理（不需要梯度和优化器状态，但仍然需要一些显存来存储运算过程的数据），合起来就是LoRA的所需要的显存。例：原本需要微调1024×512的参数，用了LoRA之后，如果选择的 Rank=8，则只需要微调这么多参数：1024×8+512×8。以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = 70亿 * 2字节 = 140亿字节。LoRA 只需要给原始模型做推理，训练一个更小的模型来实现和训练原始参数差不多的效果。优化器的状态：参数量的2倍。
详解-大模型推理（Llama3）相关参数和显存计算！
2401_85375186的博客
08-10 1708
LLM 推理任务需要大量的算力，将现代 GPU 推向极限。过去两年， LLM 训练和推理优化相关的研究进展速度惊人，每六个月就会出现新的突破。今天的分享主要，为大家介绍LLM 推理领域所必备的一些基本数学与概念，这包含了Llama3的以及，对于张量、矩阵等基本数学原理本文不会赘述。我们先来看看标准的架构。左图来自于大模型技术的起源之作《Attention is all you need》，这是一个标准的transformer结构，由左侧的和右侧的两部分构成。
7.12 模型显存/mix-precision
IsayIwant的博客
07-13 326
PyTorch的自动混合精度（AMP） - 知乎自动混合精度的关键词有两个：自动、混合精度：- 混合精度预示着有不止一种精度的Tensor，那在PyTorch的AMP模块里是几种呢？2种：torch.FloatTensor和torch.HalfTensor；- 自动预示着Tensor的dtype类型会自动变化，也就是框架按需自动调整tensor的dtype（其实不是完全自动，有些地方还是需要手工干预）；torch.cuda。
大模型到底需要消耗多少GPU显存？公式和工具全都有
最新发布
m0_59164304的博客
08-21 1676
如何计算大模型到底需要多少显存，是常常被问起的问题。现从实用角度介绍一个简单公式和一个工具方便大家工作中使用。1）估算公式（该公式来自于Sam Stoelinga简化[1]）注意：该公式只是为了简化计算的估计，并未包含kvcache所需显存以及context大小的影响。下面以运行16位精度的 Llama 70B 模型所需的 GPU 内存为例套用公式：该模型有 700 亿参数。由此可见，模型所需的 GPU 内存相当大。
AI大模型的推理显存占用分析
酌沧
05-28 2485
了解Transformer架构的AI大模型显存占用是非常重要的，特别是在训练和推理过程中。
一文讲明白大模型显存占用（只考虑单卡）
Python_cocola的博客
08-21 992
顾名思义，混合精度训练就是将多种不同的精度数据混合在一起训练，《 MIXED PRECISION TRAINING 》这篇论文里将FP16和FP32混合，优化器用的是Adam，如下图所示：MIXED PRECISION TRAINING论文里的训练流程图按照训练运行的逻辑来讲：Step1:优化器会先备份一份FP32精度的模型权重，初始化好FP32精度的一阶和二阶动量（用于更新权重）。Step2:开辟一块新的存储空间，将FP32精度的模型权重转换为FP16精度的模型权重。
如何计算模型以及中间变量的显存占用大小
weixin_43143419的博客
06-07 1942
感谢博主的分享： 计算模型以及中间变量的显存占用大小 前言 OUT OF MEMORY，显然是显存装不下你那么多的模型权重还有中间变量，然后程序奔溃了。怎么办，其实办法有很多，及时清空中间变量，优化代码，减少batch，等等等等，都能够减少显存溢出的风险。 但是这篇要说的是上面这一切优化操作的基础，如何去计算我们所使用的显存。学会如何计算出来我们设计的模型以及中间变量所占显存的大小，想必知道了这一点，我们对自己显存也就会得心应手了。 计算 首先我们应该了解一下基本的数据量信息： 1 G = 1024 MB
解决Tensorflow占用GPU显存问题
12-20
尤其是在将PyTorch模型转换为TensorFlow模型后，可能会发现TensorFlow会默认占用所有可用的GPU显存，即使模型本身并未完全利用这些资源。这种现象可能会阻碍多任务并行处理或者在有限的GPU资源下进行其他计算，严重...
yolov8s-pose三种模型再3060显卡上推理时间，显存占用，gpu利用率测试数据以及代码
01-27
在3060显卡上进行推理时间、显存占用和GPU利用率的测试，是为了评估该模型在实际硬件设备上的性能表现，这对于选择合适的硬件资源来运行模型至关重要。 在描述中提到的“推理测试代码”，通常是一段Python或其他...
神经网络深度学习模型的占用GPU显存计算方法
千与编程
11-10 6780
对于神经网络的深度学习模型来说，识别的精度是很重要，但是模型也不能是无限制的增大，因此需要对神经网络的深度学习模型进行模型的压缩等 首先最最基本的就是对模型的大小进行最基本的模型大小计算，以及使用训练时候的显存的计算 以下是计算存储的计算单位数据： 1 G = 1000 MB 1 M = 1000 KB 1 K = 1000 Byte 1 B = 8 bit 模型中参数的类型分为两种： 一般一个8-bit的整型变量所占的空间为1B也就是8bit。而32位的float则占4B也就是32bit float32
模型占用GPU显存计算
独行侠
11-01 3211
相关博客： https://blog.csdn.net/wz22881916/article/details/81054036 https://blog.csdn.net/sweetseven_/article/details/96026706 https://www.cnblogs.com/vincent1997/p/10896299.html 详细的GPU显存占用可以看上面几篇博...
大模型训练中优化策略（数据并行、模型并行、ZeRO等）
2301_78285120的博客
02-18 1445
在微调时，模型显存占用主要包括和四个部分。对于一个参数量的模型，它的模型参数占用为：将模型参数视为基准，模型梯度占用量与模型参数相同。优化器主采用，它核心计算公式如下：由于需要保存 m 和 v，而 m 和 v 规模与参数梯度相同，因此优化器需要两倍显存容量。同时，在计算中得到的中间结果需要保存在显存中，以便反向传播时计算梯度。对于每一个中间结果，其数据形状为 [Batch, SeqLen, Dim]。
深度学习——模型显存占用分析
qq_50737873的博客
04-28 530
神经网络现存占用
keras使用GPU训练模型显卡占用率过高·
05-29
如果您在使用GPU训练模型时显存占用率过高，可以考虑以下几种方法： 1. 减小batch size：通过将训练过程中的batch size降低，可以减少每次迭代时GPU需要处理的数据量，从而减少显存占用率。 2. 使用更小的模型：更小的模型通常需要更少的显存，可以减少显存占用率。 3. 使用mixed precision训练：mixed precision训练是一种利用半精度浮点数（float16）加速深度学习模型训练的技术。由于float16需要的显存更少，因此可以减少显存占用率。 4. 减少模型的输入分辨率：如果您的模型的输入是图像，可以将输入图像的分辨率降低，从而减少显存占用率。 5. 使用分布式训练：将训练过程分布在多个GPU上可以减少单个GPU的显存占用率。 6. 优化模型：通过模型优化技术（如剪枝、量化等）可以减小模型的大小，从而减少显存占用率。 以上是一些可能的解决方法，您可以根据您的具体情况选择适合您的方法。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值