大模型性能优化KV Cache

最新推荐文章于 2025-04-21 12:55:52 发布
最新推荐文章于 2025-04-21 12:55:52 发布
阅读量887 收藏 20
点赞数 15
分类专栏： 自然语言处理 文章标签： 性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a_blade_of_grass/article/details/139996967
版权

原理

KV Cache的本质就是避免重复计算，把需要重复计算的结果进行缓存，生成式模型的新的token的产生需要用到之前的所有token的 K , V K,V K,V，在计算注意力的时候是当前的 Q Q Q和所有的 K , V K,V K,V来进行计算，所以是缓存 K , V K,V K,V。

由于Causal Mask的存在，前面已经生成的token不需要与后面的token产生attention，也就是用不到前面token的 Q Q Q，用的上前面token的 K , V K,V K,V，具体的公式如下：
a t t 1 ( Q , K , V ) = s o f t m a x ( Q 1 K 1 T D ) V 1 att_1(Q,K,V)=softmax(\frac{Q_1K_1^T}{\sqrt{D}})V_1 att1​(Q,K,V)=softmax(D ​Q

最低0.47元/天 解锁文章
kv-cache
03-13
KV快取 内存KV存储中的线程安全异步 注意事项 首先，我可能会建议使用现有的解决方案。 诸如memcached ， redis ， FASTER ， Masstree类的东西投入了大量的工程时间。如果由于某种原因这些解决方案不起作用，并且需要重量更轻的解决方案，那么这可以起作用。 有关此实现的更详细说明，请参见“ Design部分，但它的核心是在Hashmap上使用Read Write锁来提供线程安全性。 还有一些其他的优化措施，它们不需要完全的写锁来进行更新，但是最后仍然需要对插入和删除进行锁。 如果这是性能瓶颈，并且您仍然不想使用预先存在的解决方案，则可以执行以下一些优化： 实现无锁哈希表。 这可以用原子来完成，但是要正确就可能很棘手，并增加了解决方案的复杂性。 同样，使用原子还有额外的开销，但是如果您需要这种优化，那么性能收益肯定会超过开销。 另外，锈可以使用几个无锁地图。
kvcache:在Android开发中优雅的访问keyvalue数据，从此不用再写SharedPreferencecode。此库是一个工具，可帮助您以更好的方式在Andrtoid开发中设置和获取键-vlue数据。
03-13
kvcache 关于kvcache 该库是一种工具，可帮助您以更好的方式在Andrtoid开发中设置和获取键-粘胶数据。 从现在开始，将您的sharedpreference代码和其他键值代码更改为kvcache ，并编写漂亮的代码。 如何使用 第1/2/3步是初始化kvcache，仅在需要添加键值数据时才需要修改接口KV。（第4步）和 步骤1.将其添加到存储库末尾的root build.gradle中： allprojects { repositories { ... maven { url 'https://jitpack.io' } } } 步骤2.添加依赖项 dependencies { implementation 'com.github.mazouri:kvcache:1.1' } 步骤3.在您的Application类中初始化KVCache p
KV Cache 详解：新手也能理解的 LLM 推理加速技巧
Harry的博客
03-28 805
（Autoregressive）生成的，即每次生成一个 token，然后将其作为输入继续生成下一个 token。：如果序列太长，超过了 KV Cache 的存储限制，就需要丢弃最早的 tokens（类似滑动窗口）。时，每次只会生成一个新 token，然后再把这个 token 作为输入继续生成下一个 token。，只缓存计算过的 K,VK, V，每次只计算新 token 的 K,VK, V，从而提升推理效率。：如果输入的 prompt 发生变化，之前的 KV Cache 不能复用，必须重新计算。
【Attention】KV Cache
麦格芬230的博客
01-29 296
定义：KV Cache 即 Key-Value Cache，是用于加速 Transformer 模型推理长序列过程的一种技术。核心原理：在 Transformer 的自注意力机制中，将历史输入 token 中的 Key 和 Value 缓存下来，避免每一步生成都重新计算历史 token 的 Key、Value 以及注意力表示，从而提高推理效率。
【笔记】KV-cache
m0_53162279的博客
11-01 1181
Transformer原理讲解。
Transformer推理加速方法-KV缓存(KV Cache)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-12 4850
可以进行缓存后续复用；在Decoder中推理过程中，同样可以缓存计算出来的。在推理进程中与训练不同，推理进行时上下文输入Encoder后计算出来的。所以这里Decoder每次计算出来一组新的。向量都跟之前向量一起进行缓存，后续也可以重复复用。并进行缓存，后续推理都不用再计算了；，但计算Decoder过程中需要之前时刻。减少重复计算，这里注意在输入是。时刻通过输入的一个词计算出来。是固定不变的，对于这里的。计算时，输入仍需要前面。是Encoder，在。
【大模型知识点】什么是KV Cache？为什么要使用KV Cache？使用KV Cache会带来什么问题？如何解决？
想买很多漂亮衣服但是买不起的博客
02-12 1851
【大模型知识点】什么是KV Cache？为什么要使用KV Cache？使用KV Cache会带来什么问题？
大模型推理性能优化之KV Cache解读
程序认生
04-16 1408
在上面的推理过程中，每 step 内，输入一个 token序列，经过Embedding层将输入token序列变为一个三维张量[b, s, h]，经过一通计算，最后经logits层将计算结果映射至词表空间，输出张量维度为[b, s, vocab_size]。6、把第5步得到的K和V，与 第2步缓存的K和V concat 得到新的K和V shape 都是 (batch_size,seq_length+1,dim1) 并缓存下来。可以看出如上计算的问题吗？那到底那部分计算是重复了的，是可以cache的呢。
大模型推理优化实践：KV cache 复用与投机采样
阿里技术
01-12 3053
我们在 Qwen13B/int8 量化/A10 机器的条件下，对不同输入和前缀长度的请求进行了测试：可以看到在复用 KV cache 功能极大程度的减少了 FTT，并且历史长度的变化对 FTT 的影响较小，FTT 更多的取决于本次请求的输入长度。并且除了多轮对话场景外，KV cache 复用功能也扩展到复用 Ptuning 前缀和长 System Prompt 的场景，降低 FTT 和显存占用。
大模型推理--KV Cache
姚光超的专栏
09-08 2285
KV Cache是大模型推理中常用到的一个技巧，可以减少重复计算，加快推理速度。不少人只是从概念上知道它可以减少重复计算，详细的原理则知之甚少，此外为啥只有KV Cache而没有Q Cache呢，我们在本博客中给出详尽的解释。
什么是 KV Cache（Key-Value Cache）
最新发布
彬彬侠的博客
04-21 1160
KV Cache（Key-Value Cache）是大模型（特别是Transformer架构）在推理过程中常用的一种优化技术，主要用于加速自回归生成任务（如文本生成）中的计算效率。它通过缓存中间计算结果（键和值的张量），避免重复计算，从而显著降低推理的计算量和延迟。
consul_kv_cache:用于缓存 Consul 中存储的 KV 值的 golang 库
07-07
领事 KV 缓存 将存储在 consul 的 kv 存储中的数据用于需要比每次执行 HTTP 往返都更快的操作是很常见的。 对于那些时候，有 Consul KV 缓存。 它的 BackgroundUpdate 功能使用监视功能自动保持本地数据地图同步。 卡瓦特 现在，对于在前缀下仍然存在其他条目的已删除键，consul 不会触发递归监视。 为了解决这个限制，KV 缓存使用一个叫做__sync的特殊键。 如果 watch 为基本名称为__sync的键触发，那么缓存将完全从 consul 重新填充。 此外，在缓存上使用 Delete 函数将设置__sync以便其他地方的其他缓存知道执行数据的完整重新读取。
大模型推理优化技术-KV Cache
2401_84494441的博客
06-10 2564
KV Cache 是大模型推理性能优化的一个常用技术，该技术可以在不影响任何计算精度的前提下，通过空间换时间的思想，提高推理性能。本文简要分析了 KV Cache 原理、源码以及计算量和显存占用，这是一种典型的通过空间换时间（计算）的技术，虽然并不复杂，但是现在基本上是仅编码器Transformer架构生成大语言模型必备优化技术。
大模型中的 KV Cache
weixin_46034279的博客
11-03 1127
是否大家在部署大模型的时候，总会遇到显存不足的问题呢？明明我的设备能存下模型参数啊！凭什么超内存了了呢！？其实，这是 KV Cache 在作祟KV Cache 是一种大模型推理加速的方法，该方法通过缓存 Attention 中的 K, V 来实现推理优化。
大模型——推理优化——KV Cache
fan_fan_feng的专栏
01-30 3974
在本文中，我们将详细介绍KV Cache，这是一种大模型推理加速的方法。正如其名称所示，该方法通过缓存Attention中的K和V来实现推理优化。
【LLM】大模型推理加速 KV-Cache
kaka03200的博客
03-25 2092
是QKV的投影矩阵，H是多头自注意力中head的个数。KV Cache的总大小是2nHD，其中n是token数量，H是head数量，D是。在了解KVCache之前，我们需要知道Transformer类大模型的推理过程。最后一种方式也就是现在常用的PageAttention，也是vllm的核心技术。也是可行的，但很容易发现一个问题，Token Embedding中。，将它们保存下来，就得到了K Cache和V Cache。这部分的值是不需要重新计算的。在每次计算过程中得到的中间值。的数据，再加上新来的。
【人工智能】结合代码通俗讲解 Transformer 推理性能优化技术：KV Cache
热门推荐
AI天才研究院
05-26 2万+
KV Cache是Transformer推理性能优化的一项重要工程化技术，各大推理框架都已实现并将其进行了封装（例如 transformers库 generate 函数已经将其封装，用户不需要手动传入past_key_values）并默认开启（config.json文件中use_cache=True）。本文尝试打开封装分析该技术内部实现，希望对大家有所帮助，文中如有纰漏，欢迎指正。作者：Young。
大模型推理优化之 KV Cache
张伟的专栏
04-25 4332
KV Cache，即键-值缓存，是一种用于存储键值对数据的缓存机制。在语言模型的推理过程中，经常需要多次访问相同的数据，而KV Cache通过将这些数据缓存到内存中，提供了快速的数据访问速度，从而加速推理过程。该技术仅应用于解码阶段。如 decode only 模型（如 GPT3、Llama 等）、encode-decode 模型（如 T5）的 decode 阶段，像 Bert 等非生成式模型并不适用。
大模型推理kv_cache缓存
weixin_40777649的博客
01-09 1674
推理时保留past_key_value。优点：减少计算量，提高推理速度。
大模型kv cache实现
04-12
<think>嗯，用户问的是大模型中KV Cache的实现方式，需要详细解释。首先，我得回忆一下自己对KV Cache的理解。KV Cache主要是在Transformer的自注意力机制中用来缓存键（Key）和值（Value）的，这样可以避免在生成每个token时重新计算之前的KV，节省计算资源，提高推理速度。不过具体实现细节可能比较复杂，需要分步骤说明。 首先，用户可能需要知道KV Cache的基本原理，比如预填充阶段和解码阶段的区别。预填充阶段处理整个prompt序列，生成对应的KV缓存，而解码阶段逐步生成新token，并更新缓存。这部分需要结合引用里的内容，比如引用[1]提到的两个阶段，还有引用[3]提到的更新KV Cache的过程。 然后，实现细节可能包括数据结构设计，比如如何存储KV缓存。通常是用张量来保存，每个层都有自己的KV缓存。引用[3]提到形状的变化，比如batch_size、num_heads、seq_len和维度，这部分需要详细说明。 另外，内存管理也很重要，用户可能关心内存优化方法，比如引用[2]提到的量化技术，或者动态缓存和分块存储。还有计算流程，比如在预填充阶段并行计算，解码阶段增量更新，引用[4]里的预填充阶段解释可能需要提到。 还要注意实现中的关键技术点，比如注意力掩码调整，防止越界访问，以及内存预分配策略。可能用户还会关心不同框架的具体实现差异，比如Hugging Face和vLLM的不同处理方式，这可以引用相关例子说明。 最后，优化措施也是重点，比如量化、分块、压缩，这些在引用里都有提到，需要整合到回答中。同时，生成相关问题的时候，要围绕实现方式、优化、应用场景等展开，确保问题有针对性。 总结一下，回答的结构应该是先介绍KV Cache的作用和原理，再分阶段详细说明预填充和解码，接着讲具体实现中的数据结构、内存管理、计算流程，关键技术点，不同框架的实现，优化措施，最后给出相关问题。需要确保引用正确的文献，比如引用[1][3][4]来支持各个部分的内容，同时保持语言的中文和格式要求。</think>### 大模型 KV Cache 实现方法详解 KV Cache 是大型语言模型（LLM）推理优化的核心技术，通过缓存历史 token 的键（Key）和值（Value）张量，避免重复计算，提升生成效率。以下是其实现方式的详细拆解： --- #### 一、KV Cache 的核心原理 1. **自注意力机制中的关键角色** Transformer 的自注意力计算公式为： $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 其中 $Q,K,V$ 分别表示查询（Query）、键（Key）、值（Value）矩阵。KV Cache 的作用是缓存历史 token 的 $K$ 和 $V$ 矩阵，避免每次生成新 token 时重新计算整个序列的注意力权重[^1][^4]。 2. **空间换时间的本质** 通过牺牲存储空间（缓存历史 KV 值）换取计算时间（减少重复计算），尤其对长序列生成任务（如文本续写）效果显著[^1]。 --- #### 二、KV Cache 的实现步骤 ##### 1. **预填充阶段（Prefill Phase）** - **输入处理**：将完整的输入序列（如 prompt）一次性输入模型。 - **并行计算**：为每个 Transformer 层生成初始的 KV 缓存： ```python # 示例：PyTorch 实现逻辑 k_cache = torch.zeros(batch_size, num_heads, max_seq_len, head_dim) v_cache = torch.zeros_like(k_cache) for i in range(input_seq_len): k_cache[:, :, i, :] = current_layer.key(input_tokens[i]) v_cache[:, :, i, :] = current_layer.value(input_tokens[i]) ``` - **缓存形状**：形状为 $(batch\_size, num\_heads, seq\_len, head\_dim)$，其中 $head\_dim$ 是注意力头的维度[^3][^4]。 ##### 2. **解码阶段（Decode Phase）** - **增量更新**：每生成一个新 token，仅计算当前 token 的 $K_t$ 和 $V_t$，并追加到缓存末尾： ```python # 当前 token 的 KV 计算 k_t = current_layer.key(new_token) v_t = current_layer.value(new_token) # 更新缓存 k_cache = torch.cat([k_cache, k_t], dim=2) v_cache = torch.cat([v_cache, v_t], dim=2) ``` - **注意力计算优化**：仅需计算新 token 的 $Q$ 与历史 $K$、$V$ 的注意力权重，避免全序列重复计算[^3][^4]。 --- #### 三、关键技术实现细节 1. **内存管理策略** - **动态缓存**：根据序列长度动态扩展缓存空间（如使用链表或可扩展张量）。 - **分块存储**：将长序列拆分为固定大小的块（如 512 token/块），减少内存碎片[^2]。 2. **计算优化** - **掩码调整**：在自注意力中应用因果掩码（Causal Mask），确保新 token 仅关注历史信息。 - **内存预分配**：预先分配最大序列长度的缓存空间（如 4096 tokens），避免频繁内存操作[^3]。 3. **框架级实现差异** | 框架/库 | 实现特点 | |---------------|--------------------------------------------------------------------------| | Hugging Face | 使用 `past_key_values` 参数管理缓存，支持动态序列扩展 | | vLLM | 采用 PagedAttention 技术，将 KV Cache 分页存储以支持超长序列生成[^2] | --- #### 四、优化措施与挑战 1. **内存压缩技术** - **量化（Quantization）**：将 KV Cache 从 FP16 压缩至 INT8，内存占用减少 50%[^2]。 - **稀疏化**：通过剪枝移除冗余的 KV 条目。 2. **性能瓶颈** - **显存带宽限制**：KV Cache 频繁读写可能导致显存带宽成为瓶颈。 - **长序列稳定性**：缓存累积可能引发数值溢出或注意力权重衰减[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值