Transformer 基础系列02：手推显存占用

已于 2023-11-28 00:13:34 修改
阅读量1.2k 收藏 19
点赞数 22
分类专栏： # LLM/Transformer 文章标签： transformer 深度学习 人工智能
于 2023-11-27 23:01:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/134656789
版权
本文深入探讨Transformer模型的显存占用，包括训练过程中的模型状态和中间激活值显存，分析优化方案如Megatron-LM的3D并行和ZeRO Stage 1-3，以及中间激活值的重计算、TP、SP和PP策略。同时，讨论推理过程中的显存使用，如KV Cache的优化方法MQA和GQA。
摘要由CSDN通过智能技术生成

本文试图以最清晰的方式手动推导 Transformers 每一步的参数量到显存、计算量问题。理解底层，才能更好的做训练和优化。可能是目前最全的大模型显存优化方案分析。

本文内容包括
（1）模型训练和推理过程中的显存占用
（2）KV cache、中间激活值等显存占用
（3）模型状态显存优化方案： Megatron(3D) + Deepspeed(ZeRO)（更新于2023-09-11）
（4）激活值显存优化方案：重计算 + 3D 并行（更新于2023-08-11）
（5）KV Cache 显存优化方案：MQA 和 GQA（更新于2023-09-11）

前置知识和标记

  • 显存占用 = 参数数量 x 该参数精度占用的 bytes 数
  • 换算关系：Int8 需1 bytes, fp16 / bf16 数需 2 bytes, fp32 需要 4 bytes
  • transformer 模型的层数为 l l
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
探索Transformer的多元宇宙：细数模型的变体
07-27
- **简介**：Transformer XL是在原始Transformer基础上进行了扩展，支持对更长的序列进行建模。它引入了一种称为相对位置编码的技术，使得模型能够利用先前序列的信息来处理当前序列。 - **应用场景**：适用于文本...
transformer系列5---transformer显存占用分析
lansebingxuan的专栏
10-08 1573
模型训练框架：例如pytorch框架的cuda context会占用大约几百MB显存，与版本有关；模型参数大小，比如7B的模型以FP16格式要占用14GB显存；
[NLP]LLM 训练时GPU显存耗用量估计
热门推荐
摩登都市天空---专栏
08-12 1万+
32位存储的意思就是1个参数用32个bit来存储。那么这个拥有1M参数量的模型所需要的存储空间的大小即为：1M * 32 bit = 32Mb = 1M * 4Byte = 4MB。现在的quantization技术就是减少参数量所占的位数：比如我用16位存储，那么：所需要的存储空间的大小即为：1M * 16 bit = 16Mb = 2MB。GPT-2含有1.5B个参数，如果用fp16格式，只需要1.5G*2Byte=3GB显存, 但是模型状态实际上需要耗费1.5B*16=24GB.
LLM 大语言模型显存消耗估计与计算
weixin_42823298的博客
07-24 1456
这个工具的计算的结果，针对代码加入到Transformers中的模型，计算结果有参考价值。针对本地模型，计算可能会不准确。这个工具可以做什么？如何使用？此工具如何设置？什么情况下需要设置？处理来自第三方的自定义配置Timm是什么？是huggingface的开发库，主要面向图像处理模型此工具的计算值与实际运行时的差异有多大？造成差异的原因有那些？本文使用Wanda方法，已在Github上开源**源码：**https://github.com/locuslab/wanda环境配置。
transformer显存占用计算
stephen147的博客
07-03 475
mask矩阵形状[b, s, d]，显存占用bsd bytes。：mask矩阵形状[b, s, d]，显存占用bsd bytes。：mask矩阵形状[b, h, s, s]，显存占用bhs。：形状[b, s, 4d]，显存占用8bsd bytes。：形状[b, s, d]，显存占用2bsd bytes。：形状[b, s, d]，显存占用2bsd bytes。：形状[b, h, s, s]，显存占用2bhs。：形状[b, h, s, s]，显存占用2bhs。：形状[b, s, d]，QK。
大模型不同参数下的模型显存计算公式
志在创建优质博客、通俗易懂、助力大家提高学习效率！
03-16 6903
在这个基础上跑一次原始参数量的推理（不需要梯度和优化器状态，但仍然需要一些显存来存储运算过程的数据），合起来就是LoRA的所需要的显存。例：原本需要微调1024×512的参数，用了LoRA之后，如果选择的 Rank=8，则只需要微调这么多参数：1024×8+512×8。以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = 70亿 * 2字节 = 140亿字节。LoRA 只需要给原始模型做推理，训练一个更小的模型来实现和训练原始参数差不多的效果。优化器的状态：参数量的2倍。
大模型推理显存需求
人工智能曾小健
06-27 1799
根据官方说明，Model Memory Calculator提供的结果与实际显存需求之间的误差通常在50MB以内（例如，对于bert-base-cased模型，实际运行需要的显存为413.68MB，而工具估算的结果为413.18MB）。Memory Calculator是由HuggingFace的Accelerate团队开发的在线工具，用户只需输入HuggingFace平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。
Transformer实战-系列教程7：SwinTransformer 源码解读
02-05
与传统的Transformer相比，Swin Transformer通过采用分层结构和窗口内注意力机制，实现了更高效的计算和更好的适用性于图像识别、目标检测和语义分割等任务 1. 层次化特征表示 Swin Transformer通过构建层次化的特征...
Transformer的泛化银河：提升模型泛化能力的策略
最新发布
07-27
Transformer是一种基于自注意力机制的神经网络架构，它在自然语言处理（NLP）领域取得了革命性的进展。最初由Vaswani等人在2017年的论文《Attention Is All You Need》中提出，主要用于机器翻译任务，但随后被广泛...
深度学习-Transformer实战系列课程
09-23
在"深度学习-Transformer实战系列课程"中，你将深入学习Transformer模型的理论基础、实现细节以及在各种NLP任务中的应用。课程可能会涵盖以下内容： 1. Transformer模型的架构和原理 2. 自注意力和多头注意力的数学...
Transformer-Tensorflow2：用于分类的Transformer架构
03-03
Transformer架构是深度学习领域中的一种创新性模型，最初由Vaswani等人在2017年的论文《Attention is All You Need》中提出。这个模型主要用于解决自然语言处理（NLP）任务，如机器翻译、文本分类等。在这个项目中，...
7B模型中型企业部署硬件配置详解
qq_29372275的博客
05-24 1344
在上述中等配置下，通过合理的优化和负载管理，一个系统能够支撑大约2400-4800左右的用户数。这一估算值基于某些理想假设，如每个用户每分钟发起一个请求。实际支持的用户数可能会因为用户行为、请求模式、系统优化等因素有所不同。通过实际的负载测试和运行数据分析，进一步调整系统配置和优化方案，可以更精准地估算支持的用户数并提升系统性能。
Bert/Transformer模型的参数大小计算
wusecaiyun的专栏
11-13 3527
因为不是原创文章，所以发在这里。 https://blog.csdn.net/weixin_43922901/article/details/102602557
lgg7深度详细参数_深度学习显卡参数详细对比
weixin_39886956的博客
11-21 2004
这里，我们列出了英伟达近年来各种适合深度学习的显卡的详细参数，并作出一些说明，方便大家根据自己的需求挑选适合自己的显卡。直接上图（小编整理了好半天）。怎么看这张图呢，主要看几个关键的性能指标。1. 单精度浮点数运算速度单精度浮点数，也就是FP32，tensorflow里面的tf.float32，是我们最常用的数据精度，也是各个深度学习框架默认的数据精度。可以看出，在这项性能指标上，各个显卡的差距都...
如何估算transformer模型的显存大小
deephub
08-30 6218
本文将详细介绍如何计算transformer的内存占用
模型占用GPU显存计算
独行侠
11-01 3246
相关博客： https://blog.csdn.net/wz22881916/article/details/81054036 https://blog.csdn.net/sweetseven_/article/details/96026706 https://www.cnblogs.com/vincent1997/p/10896299.html 详细的GPU显存占用可以看上面几篇博...
自己挖坑自己填，谷歌大改Transformer注意力，速度、内存利用率都提上去了
weixin_36896856的博客
10-28 853
点击上方“AI遇见机器学习”，选择“星标”公众号重磅干货，第一时间送达来自 | 机器之心考虑到 Transformer 对于机器学习最近一段时间的影响，这样一个研究就显得异常引人注目了。...
Tensorflow中因未释放计算图而导致显存爆炸运行越来越慢的问题
绯荔榭•少年
08-16 3633
Tensorflow中因未释放计算图而导致显存爆炸运行越来越慢的问题 问题描述 在一次模型修改中，因为需要在每运行一个batch时，调用另外一个模型计算相关的embedding导入进来当前模型，所以导致了会出现类似以下的调用方式： for batch in batches: with tf.Session() as sess: tfops = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值