大模型(LLM)推理加速之KV Cache技术

最新推荐文章于 2025-04-21 12:55:52 发布
最新推荐文章于 2025-04-21 12:55:52 发布
阅读量3.2k 收藏 18
点赞数 17
文章标签： 语言模型 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19716143/article/details/135754713
版权

前言

在学习Key-Value Cache(kv cache)，读者需要熟悉Transformer架构，最好能够懂得分析transformer模型的参数量、计算量、中间激活、KV cache。本文不会再对Transformer架构做赘述。

KV cache原理

在如GPT等大模型的推理当中，一次推理只生成一个token，输出的token会与输入tokens拼接在一起，作为下一次推理的输入，每个token都需要依赖之前生成的token，这个重要的特性就是自回归性（autoregressive）。
然而随着推理的进行，输入的tokens会越变越长，导致推理FLOPs（计算量，如果读过前言中的那篇文章，可以知道推理的 F L O P s = 2 ∗ 模型参数量 ∗ t o k e n 数） FLOPs = 2 * 模型参数量 * token数） FLOPs=2∗模型参数量∗token数）随之增大。这会严重影响推理的速度。
由于在推理过程中，第 i i i次注意力的计算都会重复计算前 i − 1 i-1 i−1个token的 K K K和 V V V值，故KV Cache的出发点就在这里，缓存当前轮可重复利用的 K K K和 V V V值，下一轮计算时直接读取缓存结果。
在这里插入图片描述

具体细节

  • 原来的推理过程：假设输入是 [ b , s , h ] [b,s,h] [b,s,h]（batchsize,seqencelen,hidden）, K , Q , V K,Q,V K,Q,V矩阵是 [ h , h ] [h,h] [h,h]，那么每次的计算结果就 [ b , s , h ] [b,s,h] [b,s,h]
  • 使用KV cache: 每次输出不再 C o n c a t Concat Concat给之前的输出（因为每次计算依据缓存过之前token的 K , V K,V K,V值），所以输入是 [ b , 1 , h ] [b,1,h] [b,1,h],那么每次计算结果就是 [ b , 1 , h ] [b,1,h] [b,1,h]，在此刻再与之前已经计算过的shape为 [ b , s − 1 , h ] [b,s-1,h] [b,s−1,h]的 K , V K,V K,V值分别进行 C o n c a t Concat Concat即可得到与原来推理过程相同的结果。但是每次没有重复计算前 i − 1 i-1 i−1个token的 K K K和 V V V值，减少了推理计算量，提升了推理速度。

更多

如果还有细节理解不到位的地方可以参考大模型推理性能优化之KV Cache解读

Cheny1m
关注
LLM - 大模型的 参数量/计算量/激活值/KV Cache 的详细分析 教程
AGI
03-31 295
在大模型中，参数量、计算量、激活值以及 KV Cache 是影响模型性能和资源消耗的关键因素。参数量通常与模型的复杂度成正比。计算量则与模型的前向和反向传播过程密切相关，Transformer 模型的计算量在使用 KV Cache 后会显著减少，因为 KV Cache 可以避免重复计算已经处理过的序列。激活值的显存占用在推理阶段尤为重要，其大小取决于序列长度、批次大小、隐藏层维度等因素，通常会随着批次大小的增加而显著增长。
Transformer推理性能优化技术很重要的一个就是K V cache，能否通俗分析，可以结合代码?
张伟的专栏
04-19 4876
KV cache对应的优化方法，总结成下表：​由上表可以看出，KV cache是个值得投入精力去研究的一个重要方向，算法上有着许多未知的方法可以去探索，工程上相对滞后，至少在主流推理框架上对部分方向的优化策略相对保守，这就给了足够多的机会。
kv-cache
03-13
KV快取 内存KV存储中的线程安全异步 注意事项 首先，我可能会建议使用现有的解决方案。 诸如memcached ， redis ， FASTER ， Masstree类的东西投入了大量的工程时间。如果由于某种原因这些解决方案不起作用，并且需要重量更轻的解决方案，那么这可以起作用。 有关此实现的更详细说明，请参见“ Design部分，但它的核心是在Hashmap上使用Read Write锁来提供线程安全性。 还有一些其他的优化措施，它们不需要完全的写锁来进行更新，但是最后仍然需要对插入和删除进行锁。 如果这是性能瓶颈，并且您仍然不想使用预先存在的解决方案，则可以执行以下一些优化： 实现无锁哈希表。 这可以用原子来完成，但是要正确就可能很棘手，并增加了解决方案的复杂性。 同样，使用原子还有额外的开销，但是如果您需要这种优化，那么性能收益肯定会超过开销。 另外，锈可以使用几个无锁地图。
KV Cache 详解：新手也能理解的 LLM 推理加速技巧
Harry的博客
03-28 918
（Autoregressive）生成的，即每次生成一个 token，然后将其作为输入继续生成下一个 token。：如果序列太长，超过了 KV Cache 的存储限制，就需要丢弃最早的 tokens（类似滑动窗口）。时，每次只会生成一个新 token，然后再把这个 token 作为输入继续生成下一个 token。，只缓存计算过的 K,VK, V，每次只计算新 token 的 K,VK, V，从而提升推理效率。：如果输入的 prompt 发生变化，之前的 KV Cache 不能复用，必须重新计算。
大模型推理--KV Cache
姚光超的专栏
09-08 2314
KV Cache是大模型推理中常用到的一个技巧，可以减少重复计算，加快推理速度。不少人只是从概念上知道它可以减少重复计算，详细的原理则知之甚少，此外为啥只有KV Cache而没有Q Cache呢，我们在本博客中给出详尽的解释。
【LLM】大模型推理加速 KV-Cache
kaka03200的博客
03-25 2102
是QKV的投影矩阵，H是多头自注意力中head的个数。KV Cache的总大小是2nHD，其中n是token数量，H是head数量，D是。在了解KVCache之前，我们需要知道Transformer类大模型的推理过程。最后一种方式也就是现在常用的PageAttention，也是vllm的核心技术。也是可行的，但很容易发现一个问题，Token Embedding中。，将它们保存下来，就得到了K Cache和V Cache。这部分的值是不需要重新计算的。在每次计算过程中得到的中间值。的数据，再加上新来的。
大模型推理优化技术-KV Cache
2401_84494441的博客
06-10 2621
KV Cache 是大模型推理性能优化的一个常用技术，该技术可以在不影响任何计算精度的前提下，通过空间换时间的思想，提高推理性能。本文简要分析了 KV Cache 原理、源码以及计算量和显存占用，这是一种典型的通过空间换时间（计算）的技术，虽然并不复杂，但是现在基本上是仅编码器Transformer架构生成大语言模型必备优化技术。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1574
AI菜鸟向前飞 — LLM简介
【大模型LLM基础】自回归推理生成的原理以及什么是KV Cache？
我的技术栈碎碎念空间
03-25 5397
通过缓存以前的键（Key）和值（Value），我们可以只关注计算新token的注意力。如下图，每当来一个新的tokenqnewq_{new}qnew​时，计算得到新的knewk_{new}knew​和vnewv_{new}vnew​，并将其拼接（concat）到缓存的KprevK_{prev}Kprev​和VprevV_{prev}Vprev​中。假设TTT是序列长度，DDD。
【llm对话系统】大模型源码分析之llama kv cache缓存逻辑
kakaZhui的博客
01-30 1598
大模型llama源码分析之KV Cache原理和代码分析
【大模型知识点】什么是KV Cache？为什么要使用KV Cache？使用KV Cache会带来什么问题？如何解决？
想买很多漂亮衣服但是买不起的博客
02-12 1918
【大模型知识点】什么是KV Cache？为什么要使用KV Cache？使用KV Cache会带来什么问题？
大模型中 KV Cache 原理及显存占用分析
木尧大兄弟
07-12 5243
大模型推理阶段 KV Cache 的原理及显存占用情况。
kvcache:在Android开发中优雅的访问keyvalue数据，从此不用再写SharedPreferencecode。此库是一个工具，可帮助您以更好的方式在Andrtoid开发中设置和获取键-vlue数据。
03-13
kvcache 关于kvcache 该库是一种工具，可帮助您以更好的方式在Andrtoid开发中设置和获取键-粘胶数据。 从现在开始，将您的sharedpreference代码和其他键值代码更改为kvcache ，并编写漂亮的代码。 如何使用 第1/2/3步是初始化kvcache，仅在需要添加键值数据时才需要修改接口KV。（第4步）和 步骤1.将其添加到存储库末尾的root build.gradle中： allprojects { repositories { ... maven { url 'https://jitpack.io' } } } 步骤2.添加依赖项 dependencies { implementation 'com.github.mazouri:kvcache:1.1' } 步骤3.在您的Application类中初始化KVCache p
Transformer推理加速方法-KV缓存(KV Cache)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-12 4900
可以进行缓存后续复用；在Decoder中推理过程中，同样可以缓存计算出来的。在推理进程中与训练不同，推理进行时上下文输入Encoder后计算出来的。所以这里Decoder每次计算出来一组新的。向量都跟之前向量一起进行缓存，后续也可以重复复用。并进行缓存，后续推理都不用再计算了；，但计算Decoder过程中需要之前时刻。减少重复计算，这里注意在输入是。时刻通过输入的一个词计算出来。是固定不变的，对于这里的。计算时，输入仍需要前面。是Encoder，在。
什么是 KV Cache（Key-Value Cache）
最新发布
彬彬侠的博客
04-21 1352
KV Cache（Key-Value Cache）是大模型（特别是Transformer架构）在推理过程中常用的一种优化技术，主要用于加速自回归生成任务（如文本生成）中的计算效率。它通过缓存中间计算结果（键和值的张量），避免重复计算，从而显著降低推理的计算量和延迟。
KV-Cache详解
发几十块的吧
09-18 8616
本文探讨了 KV 缓存的概念、应用以及它在自注意力机制中优化的特定计算。
【人工智能】结合代码通俗讲解 Transformer 推理性能优化技术：KV Cache
热门推荐
AI天才研究院
05-26 2万+
KV Cache是Transformer推理性能优化的一项重要工程化技术，各大推理框架都已实现并将其进行了封装（例如 transformers库 generate 函数已经将其封装，用户不需要手动传入past_key_values）并默认开启（config.json文件中use_cache=True）。本文尝试打开封装分析该技术内部实现，希望对大家有所帮助，文中如有纰漏，欢迎指正。作者：Young。
大模型推理优化之 KV Cache
张伟的专栏
04-25 4408
KV Cache，即键-值缓存，是一种用于存储键值对数据的缓存机制。在语言模型的推理过程中，经常需要多次访问相同的数据，而KV Cache通过将这些数据缓存到内存中，提供了快速的数据访问速度，从而加速推理过程。该技术仅应用于解码阶段。如 decode only 模型（如 GPT3、Llama 等）、encode-decode 模型（如 T5）的 decode 阶段，像 Bert 等非生成式模型并不适用。
大模型——推理优化——KV Cache
fan_fan_feng的专栏
01-30 4018
在本文中，我们将详细介绍KV Cache，这是一种大模型推理加速的方法。正如其名称所示，该方法通过缓存Attention中的K和V来实现推理优化。
大模型训练推理加速KV缓存
02-22
### 使用 KV 缓存加速大模型训练与推理 #### 加速推理过程的方法 在大语言模型（LLM）的推理阶段，KV缓存是一种有效的优化手段。由于推理过程中上下文输入经过编码器后计算出的K和V矩阵是固定的，在解码器中这些值也可以被多次利用而不改变[^3]。因此，可以通过存储先前已经计算好的键（Key）和值（Value），避免重复运算来提升效率。 具体来说： - **减少冗余计算**：当处理新的token时，只需要更新最近一次加入序列的部分对应的K/V向量即可，其余部分可以直接从缓存读取，从而节省大量资源消耗并加快速度[^2]。 - **降低延迟**：对于实时应用场景而言，使用KV缓存在每次预测新词时不需重新计算整个历史记录的相关性得分，这有助于显著缩短响应时间。 ```python def decode_with_kv_cache(model, input_ids, past_key_values=None): outputs = model( input_ids=input_ids, use_cache=True, past_key_values=past_key_values # 利用之前的KV缓存 ) next_token_logits = outputs.logits[:, -1, :] new_past_key_values = outputs.past_key_values return next_token_logits, new_past_key_values ``` 值得注意的是，在实际部署环境中还需要考虑内存管理策略以确保高效运作，比如设置合理的最大缓存大小以及及时清理不再使用的条目等措施。 #### 训练过程中的应用局限 然而，在训练期间通常不会采用KV缓存机制。这是因为训练依赖于教师强迫技术，即每次都使用真实的标签作为下一个时刻的输入而不是模型自身的预测结果，这意味着每一步都需要基于最新的参数来进行完整的前向传播操作，无法简单地复用之前的状态信息[^1]。 综上所述，虽然KV缓存主要应用于推理环节而非训练流程之中，但对于改善大规模预训练模型的实际运行表现具有重要意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值