大模型显存占用分析

最新推荐文章于 2024-05-28 20:21:59 发布
最新推荐文章于 2024-05-28 20:21:59 发布
阅读量1.9k 收藏 2
点赞数
文章标签： 人工智能 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yzy__zju/article/details/131425093
版权

大模型显存占用由以下几部分组成：

1. 模型本身参数，假设是1个单位

2.模型的梯度，同样也是一个单位

3.优化器参数（占大头）：以Adam参数为例，还需要在显卡中额外存储m和v两个参数，因此为2个单位参数

4.模型的中间计算结果，因为反向传播求导时会用到，需要存储每一层的输入x（下图以Transformer中的全连接层为例，每一个全连接层的输入参数维度为[batch, 句子长度, 每个token维度]）

 以11B大小模型为例，其模型参数占据显存大小就为40GB，再加上其余三个部分后显存花销更大

 

佛系调参
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型不同参数下的模型显存计算公式
志在创建优质博客、通俗易懂、助力大家提高学习效率！
03-16 4272
在这个基础上跑一次原始参数量的推理（不需要梯度和优化器状态，但仍然需要一些显存来存储运算过程的数据），合起来就是LoRA的所需要的显存。例：原本需要微调1024×512的参数，用了LoRA之后，如果选择的 Rank=8，则只需要微调这么多参数：1024×8+512×8。以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = 70亿 * 2字节 = 140亿字节。LoRA 只需要给原始模型做推理，训练一个更小的模型来实现和训练原始参数差不多的效果。优化器的状态：参数量的2倍。
开源大模型训练及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略
热门推荐
Johntill的博客
09-01 1万+
随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老破小GPU显卡，这就引发了一个问题：如何在这样的条件下成功运行模型？
AI大模型的推理显存占用分析
最新发布
酌沧
05-28 1835
了解Transformer架构的AI大模型显存占用是非常重要的，特别是在训练和推理过程中。
训练大模型时显存占用影响因素总结(以starcoderplus 15.5B为例)
行步至春深
06-22 1561
背景：实验室计算资源紧张，单卡最大显存是RTX 3090 24G， 但是又要用大模型(指参数量达到10B)做实验。
深度学习模型以及中间变量的显存占用大小分析
mmmmzhuang的博客
06-18 2906
前言 亲，显存炸了，你的显卡快冒烟了！ torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work/aten/src/THC/generic/THCStorage.cu:58 想必这是所有炼丹师们最不想看到的错误，没有之一。 OUT OF MEMORY，显然是显存装不下你那么多的模型权重还有中间变量，然后程序奔溃了。怎么办，其实办法有很多，及
模型显存占用及其计算量
u012370185的博客
07-11 1万+
1. 显存的占用 当在GPU上跑一个模型时，显存的占用主要有两部分： 模型的输出（特征图、特征图的梯度）、模型的参数（权重矩阵、偏置值、梯度） 1. 模型参数的显存占用：（例如：卷积核的参数、BN层、全连接层的参数等（池化层没有参数）） 2. 如果是在训练阶段，需要反向传播更新参数值，所以每个参数都需要存储梯度。所以模型参数的显存占用，与采用的优化器有关。 1）如果使...
大模型GPU显存占用计算
weixin_44532170的博客
12-03 4671
以参数量13B大模型为例，其中B是Billion，代表十亿参数，13B就是130亿参数其中每个参数全精度是fp32，也就是float32，占用32位bit，也就是4byte字节。那么全精度13B模型占用。
Pytorch释放显存占用方式
09-18
首先，当我们训练模型时，PyTorch的张量和计算图会占用GPU的显存。在某些情况下，如反复运行实验或在不同模型之间切换，可能需要手动清理已分配但不再使用的显存。这时，可以使用`torch.cuda.empty_cache()`函数来...
解决Tensorflow占用GPU显存问题
12-20
尤其是在将PyTorch模型转换为TensorFlow模型后，可能会发现TensorFlow会默认占用所有可用的GPU显存，即使模型本身并未完全利用这些资源。这种现象可能会阻碍多任务并行处理或者在有限的GPU资源下进行其他计算，严重...
Keras - GPU ID 和显存占用设定步骤
09-16
在使用Keras进行深度学习模型训练时，合理配置GPU ID和显存管理是提升效率、避免资源浪费的关键。...通过这些技巧，我们可以更高效地利用GPU资源，避免浪费，并且在有限的显存条件下训练更大规模的模型。
挑战性能极限小显卡大作为，教你如何在有限资源下运行大型深度学习模型，GPU显存估算并高效利用全攻略！
丨汀、的博客
03-29 1328
挑战性能极限小显卡大作为，教你如何在有限资源下运行大型深度学习模型，GPU显存估算并高效利用全攻略！
显存不够用？一种大模型加载时节约一半显存的方法
weixin_45794268的博客
04-18 1164
上述创建，模型占用 显存, x是指模型的大小 有些时候我们把模型保存到本地硬盘中 之后需要用到之前保存的模型（两倍显存消耗） 我们需要两倍的显存来加载我们之前存储过的权重 如果我们有一个巨大的模型，这是有问题的，因为我们需要两倍的空闲RAM。例如，假设我们有16GB的RAM，而我们的模型使用10GB。加载它需要20GB，我们需要改变我们的策略。 Recently, PyTorch introduced the device. When you put a tensor to the meta de
LLM大模型显存计算
weixin_40777649的博客
01-12 4159
1b(10亿)个模型参数，约占用4G显存(实际大小：10^9 * 4 / 1024^3 ~= 3.725 GB)，那么LLaMA的参数量为7b，那么加载模型参数需要的显存为：3.725 * 7 ~= 26.075 GB。综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右。例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为。int8 的 LLaMA-6B，AdamW 需要 6B。
模型的显存和参数量计算
weixin_49305813的博客
07-28 7555
写在前面：以此记录关于模型显存和参数量的一些理解和计算。 显存 参数的显存占用：只有有参数的层，才会有显存占用。这部分的显存占用和输入无关，模型加载完成之后就会占用。 有参数的层主要包括：卷积、全连接、BatchNorm、Embedding等等 无参数的层主要包括：多数的激活层(Sigmoid/ReLU)、池化层、Dropout等等 具体来说，模型参数数目(不考虑偏置b)： Linear(M->N)：M×N Conv2d(Cin，Cout，K)：Cin×Cout×k×k BatchNorm(N)：2
大模型相关资料整理
weixin_36378508的博客
11-16 4754
深度大模型
ICLR Spotlight｜Facebook提出无损INT8优化器，单机可以跑千亿参数模型了？？
夕小瑶科技说
08-30 492
文 | 王思若2018年GPT、BERT预训练模型的提出吹响了大模型“军备竞赛”冲锋的号角，一场大模型的狂欢拉开帷幕，业界强大的算力支撑起例如Megatron-Turing、Switch Transformer、悟道2.0等千亿&万亿参数量模型。与此同时，面对着超大模型训练在内存存储、网络通信、性能功耗等方面的严峻挑战，这同样是一场工程上极致优化的探索之旅，各家公司纷纷提供了自己的解决方案...
A100单机多卡大模型训练踩坑记录（CUDA环境、多GPU卡住且显存100%）
木尧大兄弟
04-28 7645
大模型A100单机多卡训练踩坑记录
模型占用GPU显存计算
独行侠
11-01 3155
相关博客： https://blog.csdn.net/wz22881916/article/details/81054036 https://blog.csdn.net/sweetseven_/article/details/96026706 https://www.cnblogs.com/vincent1997/p/10896299.html 详细的GPU显存占用可以看上面几篇博...
torch 测试模型显存占用
09-05
要测试PyTorch模型的显存占用，可以使用以下方法。 首先，需要导入PyTorch和相关类库。然后，创建一个模型并加载到设备上，例如使用以下代码加载一个预训练的ResNet模型： ```python import torch import torchvision.models as models # 创建模型并将其加载到设备上 model = models.resnet50() device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) ``` 接下来，可以生成一些测试数据并传递给模型进行前向传播。为了测试显存占用，可以使用`torch.cuda.max_memory_allocated()`和`torch.cuda.max_memory_cached()`方法来获取模型在GPU上分配的最大内存使用情况。 ```python # 生成测试数据 inputs = torch.randn(1, 3, 224, 224).to(device) # 前向传播 outputs = model(inputs) # 打印最大的分配内存和缓存内存 print(f"Max allocated memory: {torch.cuda.max_memory_allocated() / (1024**3):.2f} GB") print(f"Max cached memory: {torch.cuda.max_memory_cached() / (1024**3):.2f} GB") ``` 运行以上代码后，将会输出模型在GPU上的最大内存使用情况。 注意，为了准确地测试显存占用，需要通过`torch.cuda.empty_cache()`方法清理缓存，并在每个循环迭代或训练批次之后调用它。 ```python # 清理缓存 torch.cuda.empty_cache() ``` 这是一种简单的方法来测试PyTorch模型的显存占用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值