LLM 参数，显存，Tflops? 训练篇(1)

最新推荐文章于 2024-11-16 16:33:39 发布

周博洋K

最新推荐文章于 2024-11-16 16:33:39 发布

阅读量1.8k

点赞数 62

文章标签： prompt 人工智能语言模型深度学习自然语言处理

本文链接：https://blog.csdn.net/kingsoftcloud/article/details/136126382

版权

本文探讨训练语言模型时的关键因素，包括模型参数量、显存需求和所需算力。以标准Transformer模型为例，详细计算了Self-Attention层的运算量，分析了Causal-decoder-only架构的计算复杂度，适用于理解LLM训练的资源需求。

摘要由CSDN通过智能技术生成

如果你要训练一个模型大概会考虑哪些因素？

模型多大？参数
占用显存多少，能不能装的下
我需要多少算力来支撑

本文就针对一个标准的Transfomer模型的套路和大家简单说一下

为了后文大家看算式明白，我们先约定一下每个变量代表的意义

L: Transfomer有多少层
H：代表两个意义，第一个意义是hiddensize的维度，第二个就是token被embedding以后的维度，这两值本来也相等
h: 小写的h代表多头注意力的数量，即有几个attention 头
B:batchsize
S：序列的长度，比如GPT 2K，LLama2 4K，就是这个东西
V: 词表里词的数量

然后我们逐一看一下我们都要算哪些模块

如上图所示是一个标准的Transfomer架构，但是这东西我讲过除了T5和一些特定的网络以外大家都不这么用了，目前的主流是Causal-decoder only，也就是做CLM的任务，自回归的生成，因为现在的LLM主流任务主要是做生成的，对这个知识点感兴趣的读者，可以先移步：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

周博洋K

关注关注

62
点赞
踩
14

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

LLM-分布式训练工具01-DeepSpeed：ZeRO系列【将显存优化进行到底】

u013250861的博客

06-16

913

目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow/JAX 和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由Google主导，由于TPU和自家云平台GCP深度绑定，对于非Googler来说，只可远观而不可把玩，后者背后则有NVIDIA、Meta、MS大厂加持，社区氛围活跃，也更受到群众欢迎。

LLM分布式训练第一课（通讯原语）

周博洋的博客

03-03

998

这个系列作为TFLOPS和显存消耗的续篇，今天开始正式连载前一篇文章举了65B模型的训练所消耗的显存的案例，如果把条件降低一点，我们看一下7B的模型需要多少显存？2byte的模型静态参数权重（以16bit存储） = 14G2byte的模型更新参数权重（以16bit存储）= 14G2byte的梯度（以16bit存储）= 14G2byte的梯度更新（以16bit存储）= 14G4byte的一阶动量优化器更新（以32bit存储）= 28G。

参与评论您还未登录，请先登录后发表或查看评论

LLM 参数，显存，Tflops? 训练篇(5）

周博洋的博客

03-02

1059

2-对于QK的矩阵乘和Softmax的计算，需要保留Q和K两个矩阵，都是[B,S,H],所以两个加起来是4BSH bytes的内存占用，Softmax又要保留Q*K的转置，考虑到多头的因素，这块需要2BaS^2的内存占用（这块和前面计算Tflops逻辑类似）5-在Attetion操作的最后，1要保存Wo的输出映射，这一部分和之前的矩阵一样都是2BSH，同时还会做一次dropout的动作，这里的dropoutmask矩阵和Wo相同也为BSH，所以这一步需要占用3BSH bytes的显存。

LLM 参数，显存，Tflops? 训练篇(2)

周博洋的博客

02-20

672

d_ff就是你想要把H hidden_size(从atteion层出来就这样，过layer Normal，无论是前置的还是后置的，也不会改变d_model的形状还是H)，也就是 d_model升级到的高维空间，一般是d_model的4倍。当然我们算完了FFN层，别忘了，我们是一个NLG业务，我们要生成token的，所以要算过个softmax层，求词典里，哪些词的概率更高就是我们要生成的token，所以这块的算力，我们也来求一下。

LLM 参数，显存，Tflops? 训练篇(4）

周博洋的博客

03-01

1396

拿我刚才举的那个抬杠的例子，7B的话，你的静态显存占用量，指模型的所有参数被load到显存里，如果以BF16的话，要占据14个G，这一下子想用T4来训练7B的人基本就傻了，我都不跟你谈什么70B，70B要是BF16，静态显存占用就是140G，那现在业界要能装的下的只有AMD 的MI300X（192G）和H200了，这两玩意貌似几乎都没供货.....当然不是，我load 模型参数的核心目的是训练参数的权重，这里就涉及到了第二个也是比较麻烦的概念，训练时的Activation显存占用（下节课讲）

LLM 参数，显存，Tflops? 训练篇(3)

周博洋的博客

02-25

1203

而我们实际干活的时候，不会像我这么认真算（我这个其实大家能掌握最好，因为后面可以做到不测试的情况下，推算集群化之后的单卡实际TFlops能力，是不是惊为天人，现在不讲,以后讲。之所以乘以GPU的利用率是因为，不太可能把它打满，尤其是多机多卡的时候，受限于通信和显存的问题，比算力本身严重，一般我们认可百分之30到百分之50吧，在多机多卡的环境下。上面的式子是分子，下面的式子是分母，分子分母相除，然后除以3600秒，除以24小时，约等于21.9天，基本上符合原著21天的实际水平。

AI大模型训练相关参数如何估算？有这一篇就够了

python1234567_的博客

10-31

1257

随着大模型时代的到来，模型参数量、训练数据量、计算量等各方面急剧增长。参数规模方面，在过去的几年里，语言模型的参数规模从数亿增长到数千亿，甚至达到万亿级别。例如OpenAI的GPT-3拥有175B参数，而GPT MoE参数规模到达了1.8T；数据量方面，训练一个大模型通常需要达到T级别tokens；另外，由于参数规模和数据量庞大，随之带来的是巨大的计算量。

LLM 大语言模型显存消耗估计与计算

weixin_42823298的博客

07-24

1562

这个工具的计算的结果，针对代码加入到Transformers中的模型，计算结果有参考价值。针对本地模型，计算可能会不准确。这个工具可以做什么？如何使用？此工具如何设置？什么情况下需要设置？处理来自第三方的自定义配置Timm是什么？是huggingface的开发库，主要面向图像处理模型此工具的计算值与实际运行时的差异有多大？造成差异的原因有那些？本文使用Wanda方法，已在Github上开源**源码：**https://github.com/locuslab/wanda环境配置。

大模型LLM之分布式训练

s44359487yad的博客

07-22

740

分布式训练（Distributed Training）是指将机器学习或深度学习模型训练任务分解成多个子任务，并在多个计算设备上并行地进行训练。图1给出了单个计算设备和多个计算设备的示例，这里计算设备可以是中央处理器（Central Processing Unit，CPU）、图形处理器（Graphics Processing Unit，GPU）、张量处理器（Tensor Processing Unit，TPU）也可以是神经网络处理器（Neural network Processing Unit，NPU）。

探索高效的 Prompt 框架：RBTR 提示框架的奥秘与优势

最新发布

编程点滴

11-16

702

通过对 RBTR 框架进行深入的应用实践与案例细致解析，我们能够显著地察觉到这一独特方法论在处理具体问题过程中所展现出的强大有效性。具体而言，精确地界定角色定位，如同为解决问题找准了关键的切入点；深度地剖析背景，犹如为后续行动筑牢了坚实的根基；合理地设定具体任务，恰似为前行指明了清晰的方向；恰当地补充要求，则像是为达成目标添加了有力的助推剂。这一整套紧密相连的步骤，全方位地呈现出如何有条不紊、富有策略性地攻克难题，达成系统性的问题解决之道。

使用 Prompt API 与您的对象聊天

MinIO

11-15

1088

tl;现在，可以使用新的 PromptObject API 仅使用自然语言对存储在 MinIO 上的对象进行总结、交谈和提问。在本文中，我们将探讨这个新 API 的一些用例以及代码示例。

常用的Anaconda Prompt命令行指令

a486368464的博客

11-13

357

【代码】常用的Anaconda Prompt命令行指令。

AI大模型（一）：Prompt & AI编程

CSBLOG的博客

11-15

837

"""1. 任务描述"""你的任务是识别用户对手机流量套餐产品的选择条件。每种流量套餐产品包含三个属性：名称、月费价格和月流量。根据用户输入，识别用户在上述三种属性上的需求是什么""""""2. 用户输入"""办理100G的套餐"""# prompt模板，instruction和input_text会被替换为上面的内容用户输入：{input_text}""""""3. 调用大模型"""不管是个人还是企业，都能借用AI提效。

Prompt设计技巧和高级PE

CCSco4355

11-15

673

Prompt 是用户提供的用于指导 LLM 输出的文本型输入，由 Instructions、Questions、Input Data 和 Examples 构成，其中 Instructions 和 Questions 是必要的。

POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models

m0_60231311的博客

11-15

835

通过提示，大规模预训练模型变得更具表现力和强大，近年来引起了人们的极大关注。虽然这些大型模型具有zero-shot能力，但一般来说，仍然需要标记数据来使它们适应下游任务。为了克服这一关键限制，我们提出了一个无监督微调框架，直接对模型进行微调或对未标记的目标数据进行提示。演示了如何通过对齐从提示和目标数据中提取的离散分布来将本文方法应用于语言增强视觉和掩码语言模型。为了验证我们的方法的适用性，我们在图像分类、情感分析和自然语言推理任务上进行了大量的实验。

AI Netflix 互动视频：Prompt、画面实时生成、无限体验

shadowcz007的博客

11-13

853

未来的故事将主要通过游戏和互动视频讲述，预计两年内实现商业化生成互动视频。a16z认为下个世纪的皮克斯不会通过传统电影或动画出现，而是通过互动视频。主要技术是生成式人工智能。GenAI 正在推动创意故事叙述的根本性转变，未来的皮克斯可能通过互动视频形式出现，开辟新的市场。为什么是互动视频？互动视频结合了电视/电影的叙事深度和视频游戏的动态系统，可以创造个性化的无限游戏体验。互动视频的观看方式，除...

Prompt Engineering Guide

LuM523的博客

11-12

1267

提示工程的学习笔记

ArkUI---使用弹窗---@ohos.promptAction (弹窗)

m0_73992525的博客

11-15

404

文本提示框，对话框提示

ChatGPT提问prompt范例模板

LKIDTI数据的博客

11-14

851

一、让 ChatGPT 充当各种行业角色 1、充当英语翻译和改进者提问模板：我想让你充当英语翻译员、拼写纠正员和改进员。我会用任何语言与你交谈，你会检测语言，翻译它并用我的文本的更正和改进版本用英语回答。我希望你用更优美优雅的高级英语单词和句子替换我简化的 A0 级单词和句子。保持相同的意思，但使它们更文艺。我要你只回复更正、改进，不要写任何解释。我的第一句话是“第一次来到这个星球，您好呀” 2、做英语口语老师和提高者我想让你充当英语口语老师和提高者。我会用英语和你说话，你会用英语回复我来练习我的英语

AGI技术和LLM模型之间的可能？

06-13

AGI（Artificial General Intelligence）是指能够像人类一样进行各种智能任务的人工智能系统，这需要具备大量的认知能力、学习能力、推理能力和创造力等多个方面的能力。而LLM（Language Model with Logic）模型是一种结合了自然语言处理和逻辑推理的模型，能够更好地理解自然语言和进行推理。因此，AGI技术和LLM模型可以结合起来，以构建更加智能的人工智能系统。LLM模型可以帮助AGI系统更好地理解和处理自然语言，从而更好地与人类进行交互和沟通；同时，LLM模型也可以帮助AGI系统进行逻辑推理，更好地处理复杂的问题和任务。综合来说，AGI技术和LLM模型的结合可以进一步提升人工智能系统的智能水平和应用场景。