LLM推理优化

最新推荐文章于 2024-11-11 15:17:57 发布
最新推荐文章于 2024-11-11 15:17:57 发布
阅读量724 收藏 22
点赞数 23
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/randyhan/article/details/134063725
版权

  • https://zhuanlan.zhihu.com/p/659770503

  • https://zhuanlan.zhihu.com/p/638468472

KV cache

Decoder 每次前向，当前 timestep 计算 Attention 要用到的部分，如之前 timestep 的 KV （Key 和 Value）值都计算过的，只是之前每次前向完后给计算结果都丢掉，只保留最后输出。

于是一个很自然的想法就是 Cache。这很像斐波那契递归函数，naive 版本，也会出现不断重复计算问题，加个 cache 瞬间提速。

  • 每次前向完，给 KV 都保留下来，用于之后计算。

模型规模小还好，一旦模型规模很大长度很长时，KV 根本就存不进缓存！！！

比如 Llama 7B 模型，hidden size 是 4096，那么每个 timestep 需缓存参数量为 4096232=262144，假设半精度保存就是 512KB，1024 长度那就要 512MB. 而现在英伟达最好的卡 H100 的 SRAM 缓存大概是 50MB，而 A100 则是 40MB. 而 7B 模型都这样，175B 模型就更不用说了。

MultiQuery/GroupQuery/MultiHead

在这里插入图片描述

  • multiHead 其实就是single-query attention，一个query一个key一个value
  • group-query attention，应用参数共享的想法，多个query共享一个key和value
  • Multi-query attention ， 所有的query公用一个key和value

MultiQuery提高了30%-40% 的吞吐量，主要就是由降低了 KV cache 带来的。实际上 MQA 运算量和 MHA 是差不多的，可理解为读取一组 KV 头之后，给所有 Q 头用，但因为之前提到的内存和计算的不对称，所以是有利的。

MQA 和 GQA 形式在推理加速方面，主要是通过两方面来完成：

  1. 降低了从内存中读取的数据量，所以也就减少了计算单元等待时间，提高了计算利用率；
  2. KV cache 变小了 head_num 倍，也就是显存中需要保存的 tensor 变小了，空出来空间就可以加大 batch size，从而又能提高利用率。

FlashAttention

名词解释：SRAM（静态随机存取存储器）、HBM（高带宽存储器）
SRAM的优势在于速度快
HBM的优势在于高带宽和低功耗

  • 关键点：删除冗余的HBM读/写，高效利用SRAM提速
    直观的想法：将多个操作融合在一起。所以只从HBM加载一次，执行融合的op，然后将结果写回来。这样做可以减少通信开销。

FlashAttention旨在避免从 HBM（High Bandwidth Memory）中读取和写入注意力矩阵，这需要做到：

目标一：
目标二：在后向传播中。

Flash attention基本上可以归结为两个主要观点:

  • Tiling (在向前和向后传递时使用，在不访问整个输入的情况下计算softmax函数的缩减；)

    • 基本上将NxN softmax/scores矩阵分块成块。
    • 随机初始化矩阵,Q,K,V都放在HBM上，在SRAM上进行计算，通过累加更新最终的矩阵O

  • Recomputation (仅在向后传递中不存储中间注意力矩阵)

在这里插入图片描述
标准Attention算法由于要计算softmax，而softmax都是按行来计算的，即在和V做矩阵乘之前，需要让 Q、K 的各个分块完成整一行分块的计算得到Softmax的结果后，再和矩阵V分块做矩阵乘。

而在Flash Attention中，将输入分割成块，并在输入块上进行多次传递，从而以增量方式（做加法，避免copy）执行softmax缩减。

目标二：重计算，重新计算比存储中间结果然后读取要快

在后向传播中不存储中间注意力矩阵，通过对比标准Attention算法在实现过程中，标准Attention算法的实现需要将计算过程中的S、P写入到HBM中，而这些中间矩阵的大小与输入的序列长度有关且为二次型

  • 因此Flash Attention就提出了不使用中间注意力矩阵，通过存储softmax归一化因子来减少HBM内存的消耗。
  • Flash Attention算法并没有将S、P写入HBM中去，而是通过分块写入到HBM中去，存储前向传递的 softmax 归一化因子，在后向传播中快速重新计算片上注意力，这比从HBM中读取中间注意力矩阵的标准方法更快。

PageAttention

LLM 的推理，最大的瓶颈在于显存。

  • 自回归模型的 keys 和 values 通常被称为 KV cache，这些 tensors 会存在 GPU 的显存中，用于生成下一个 token。
  • 这些 KV cache 都很大，并且大小是动态变化的，难以预测。已有的系统中，由于显存碎片和过度预留，浪费了60%-80%的显存。

内存分块

改进思路：受到操作系统中，虚拟内存和分页经典思想的启发，PagedAttention 允许在不连续的内存空间中存储连续的 keys 和 values。

具体做法：

  • PagedAttention 会将每个序列的 KV cache 划分为块，每个块包含固定数量 tokens 的 keys 和 values。 在注意力计算过程中，PagedAttention 内核有效地识别并获取这些块。
  • **分块之后，这些 KV cache 不再需要连续的内存，**从而可以像在操作系统的虚拟内存中一样，更灵活地对这些 KV cache 进行管理。

内存共享

当用单个 prompt 产出多个不同的序列时，可以共享计算量和显存。

  • 通过将不同序列的 logical blocks 映射到同一个 physical blocks，可以实现显存共享。
  • 为了保证共享的安全性，对于 physical blocks 的引用次数进行统计，并实现了 Copy-on-Write 机制。

这种内存共享机制，可以大幅降低复杂采样算法对于显存的需求（最高可下降55%），从而可以提升2.2倍的吞吐量。

推测性解码

推测性解码这一概念由 Google 的 Yaniv Leviathan 等人在 《通过推测性解码实现 Transformer 快速推理》中首次提出。

  • 这种方法基于一个假设：一个速度更快的助理模型 往往可以生成与更大的主模型相同的 Token。

Step 1 ：

在这里插入图片描述
在这里插入图片描述
Step 2:
在这里插入图片描述

在这里插入图片描述
Step 3:
在这里插入图片描述
Step 4:
在这里插入图片描述
在这里插入图片描述

  • 助理模型的工作：大约 70-80% 的预测 Token 较为简单，这种权衡更倾向于选择速度更快的模型而非准确度更高的模型，助理模型的速度至少应是主模型的 3 倍（越快越好），能够准确预测所有简单的 Token。
  • 选择助理模型时，唯一的限制是它必须与主模型共用相同的词汇库。也就是说，助理模型需要使用与主模型完全相同的 Tokenizer。

链接：https://baoyu.io/translations/huggingface/whisper-speculative-decoding

银晗
关注
NLP（十八）：LLM 的推理优化技术纵览
张伟的专栏
01-11 2330
目录收起一、子图融合（subgraph fusion）二、模型压缩（Model Compression）2.1 稀疏(Sparsity)2.2 量化(Quantization)2.3 蒸馏(Distillation)三、并行化（Parallelism）3.1 数据并行 (Data Parallelism, DP)3.2 张量并行(Tensor Parallelism, TP)3.3 流水线并行(Pipeline Parallelism, PP)四、Transformer 结构优化。
LLM 的推理优化技术纵览
hellozhxy的博客
07-24 1593
推理是 LLM 应用的重要一环，在部署服务环节影响重大，本文将讨论主流的 LLM 的推理优化技术。
前沿论文 | LLM推理性能优化最佳实践
张伟的专栏
04-19 1857
当batch size为1时，4xA100-40GB GPU对应的MBU为55%，而2xH100- 80GB GPU上可以实现更高的MBU，达到60%（如图2所示）。曲线上的每一条线都是通过将batch size从1增加到256得到的，有助于确定在不同的延迟限制条件下，我们可以使用的batch size。有些服务器在所有GPU之间都是高带宽连接，而有些服务器的GPU是成对的，之间的通信带宽较低。此外，在下一次token生成的迭代过程中，新的KV项会被添加到现有的缓存中，使缓存随着新token的生成而增大。
LLM基础与推理优化
lvaolan的博客
07-27 652
LLM Inference要做好需要算法以及工程系统性合作，会涉及到以下一些技术方向：1.Inference算法核心部分，Transformer inference过程及加速原理、一些主流的加速框架梳理；2.解码策略及调参，GreedySearch、BeamSearch、Sampling、top_k、top_p、temperature、no_repeated_ngram_size等优化；
AG-DST论文笔记
weixin_43228097的博客
03-26 2810
Amendable Generation for Dialogue State Tracking 对话状态追踪的可修改生成 abstract Recent dialogue state tracking tend to perform one-pass generation of the dialogue state based on the previous doalogue state 模型在当前轮次的错误很容易传播到下一轮对话状态的生成，错误传播 论文提出新的可修改对话状态的模型，模型分两步生成：（1
LLM 推理优化
StackFlow的博客
03-10 2705
数据并行是一种将大型数据集分割成小块，然后在多个GPU上并行处理的技术。每个GPU处理数据的一个子集，并独立地执行相同的模型计算。最后，将所有GPU的结果汇总以得到最终输出。
LLM推理优化综述
LF_AI的博客
09-19 1582
1 摘要自 OpenAI 发布 ChatGPT 以来，基于 Transformer 架构的大语言模型 (LLM) 在全球范围内引发了深度的技术关注，并取得了令人瞩目的成就。其强大的理解和生成能力，正在深刻改变我们对人工智能的认知和应用。然而大语言模型的推理应用成本过高，高昂的成本大大阻碍了技术落地。因此，大语言模型的推理性能优化成为业界研究的热点。大语言模型推理面临计算资源的巨大需求和计算效率的挑...
LLM推理优化——KV Cache篇（百倍提速）
qq_36553572的博客
07-30 1229
KV Cache本质上是空间换时间的技术。与计算机组成原理中的cache不同，它不涉及访存优化。不知道大家在用LLM的时候，有没有注意到一个问题：我们在输入我们的问题之后，需要等待一段漫长的时间才能看到第一个字符的响应，而等待第一个之后，后续的响应却非常之快，这就是使用了KV Cache加速后的带来的优势。
大模型的实践应用26-大模型LLM推理优化技术,包括KVCache、PageAttention、FlashAttention、MQA、GQA的技术原理
weixin_42878111的博客
08-01 469
大模型LLM推理优化聚焦KVCache缓存中间结果节省计算，PageAttention借鉴操作系统分页管理分散存储的键值对，FlashAttention加速注意力计算，MQA与GQA通过共享键值矩阵减少参数量，平衡性能与加速，共同提升推理效率与模型实用性。这些技术协同作用，显著降低了大模型推理的资源消耗和响应时间，使其更适用于实时应用环境。
全面解析 LLM 推理性能的关键因素
安静的软件工程师
02-12 3803
全面解析 LLM 推理性能的关键因素
LLM 推理的核心指标
Learning
08-12 523
LLM 推理的核心指标：TTFT 首 Token 延迟、TPOT 每个Token延迟、Latency延迟、Throughput：吞吐量
LLM推理加速（二）
laner__gg的博客
06-05 875
模型推断过程无法并行，因为只有一个gpu，但是tokenize和Detokenize是cpu上发生的。Detokenize发生的过程，实际上是等前一步的sample完成后，gpu结果完成后，在cpu上做Detokenize。实际上此时GPU就空闲了，即当上一次Sample完成后，可以直接进行下一次Computing的计算，可以不用等下一次Detokenize。这就是流水线优化。
如何解决RNN在处理深层序列数据时遇到的如梯度消失、长期以来等问题
m0_73640344的博客
11-06 562
这些技术各自以不同的方式解决了RNN在处理深层序列数据时遇到的关键问题，如梯度消失和长期依赖。选择哪种技术取决于特定任务的需求，包括模型的复杂性、训练时间和性能要求。通过适当选择和配置这些改进的RNN架构，可以显著提高序列数据处理任务的效果和效率。
深度学习面试八股汇总
11-09 373
面试资料收集者之深度学习面试八股汇总
基于卷积神经网络的桃子叶片病虫害识别与防治系统，vgg16，resnet，swintransformer，模型融合（pytorch框架，python代码）
最新发布
蓝博AI工作室的博客
11-11 567
基于卷积神经网络的桃子叶片病虫害识别与防治系统是在pytorch框架下实现的，项目中有4个模型，前3个为VGG16、ResNet50、SwinTransformer，最后一个为前面3个模型的融合（预测结果的融合，提高系统预测结果的可靠性），各个模型之间可对比分析，工作量充足。界面可实现各个模型的切换，并且可以保存每次识别结果，生成识别报告该系统涉及的技术栈：python + pyqt5 + opencv。
LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-07 1233
​ LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 目录 《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 Abstract 1 Introduction Conclusion Limitations and Future Work局限性和未来工作 《Lo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值