为什么KV Cache只需缓存K矩阵和V矩阵，无需缓存Q矩阵？

最新推荐文章于 2025-05-24 07:33:02 发布
最新推荐文章于 2025-05-24 07:33:02 发布
阅读量3.1k 收藏 19
点赞数 36
分类专栏： 大模型 文章标签： 缓存 矩阵 线性代数 AIGC 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35054222/article/details/140280291
版权

大家都知道大模型是通过语言序列预测下一个词的概率。假定{ x 1 x_1 x1​， x 2 x_2 x2​， x 3 x_3 x3​，…， x n − 1 x_{n-1} xn−1​}为已知序列，其中 x 1 x_1 x1​， x 2 x_2 x2​， x 3 x_3 x3​，…， x n − 1 x_{n-1} xn−1​均为维度是 d m o d e l d_{model} dmodel​的向量， q n q_{n} qn​、 k n k_{n} kn​、 v n v_{n} v<

最低0.47元/天 解锁文章
LLM - GPT(Decoder Only) 类模型的 KV Cache 公式与原理 教程
AGI
08-27 1705
在 GPT 类模型中，KV Cache (键值缓存) 是用于优化推理效率的重要技术，基本思想是通过缓存先前计算的 键(Key) 和 值(Value)，避免在推理过程中，重复计算 Mask 的 注意力(Attention) 矩阵，从而加速生成过程。
自然语言处理:第九十五章 为什么有KV Cache而没有Q Cache?
victor_manches的博客
03-07 631
KV Cache 在已经成为了 LLM 推理系统中必须要用到的一个优化技术。KV Cache 的想法很简单，即。
为什么LLM推理加速有KV Cache而没有Q Cache？
u012374012的专栏
07-30 1800
在没有Causal Mask时，计算t位置的Attention需要未来的KV，这在实际进行自回归推理时无法得到；在序列的t位置，Q只有当前位置的 𝑞𝑡q_t 参与了计算，而K和V多个位置参与了计算，所以需要KV Cache，而不需要Q Cache。但是每次都要用到当前和过去所有的KV，这次用到的KV下次马上就要再用一次，所以Cache KV可以加速推理。直到这一步，K和Q看上去都很对称。无论有没有Causal Mask，Q和K在结果中都是不对称的。，这次用的Q下次不会用到，所以不用Cache Q；
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 2947
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2773
TensorFlow相关组件的安装
为什么大模型计算的时候只会利用KVcache来存放KV矩阵，Q矩阵每次不一样？
大模型天花板
10-24 2994
总之，KV Cache是一种用于提高Transformer架构的推理效率的技术，通过缓存K和V矩阵，从而避免不必要的计算，但由于Q矩阵通常不稳定，因此不会被缓存。KV Cache的思想是，对于K和V矩阵，由于它们相对稳定，可以在不同时间步骤缓存它们，这样，对于相同的输入，您不需要重新计算K和V矩阵，而可以重复使用它们。在Transformer中，自注意力机制的操作包括Q（Query）、K（Key）和V（Value）的计算。相反，Q矩阵是依赖于输入的，因此每次都不同，无法进行缓存，因此Q矩阵通常不被缓存。
Transformer推理性能优化技术很重要的一个就是K V cache，能否通俗分析，可以结合代码?
张伟的专栏
04-19 4902
KV cache对应的优化方法，总结成下表：​由上表可以看出，KV cache是个值得投入精力去研究的一个重要方向，算法上有着许多未知的方法可以去探索，工程上相对滞后，至少在主流推理框架上对部分方向的优化策略相对保守，这就给了足够多的机会。
为什么KV Cache只有KV，没有Q
stephen147的博客
08-06 1108
大家都知道大模型是通过语言序列预测下一个词的概率。假定x1​x2​x3​...xn−1​为已知序列，其中x1​x2​x3​, …,xn−1​均为维度是dmodel​的向量，qn​kn​vn​同为向量。当输入xn​时，需要预测xn1​的概率分布。
【大模型知识点】什么是KV Cache？为什么要使用KV Cache？使用KV Cache会带来什么问题？如何解决？
想买很多漂亮衣服但是买不起的博客
02-12 1942
【大模型知识点】什么是KV Cache？为什么要使用KV Cache？使用KV Cache会带来什么问题？
大模型KV Cache节省神器MLA学习笔记（包含推理时的矩阵吸收分析）
I good vegetable a!
06-17 1万+
这篇文章主要是对Deepseek2提出的优化KV Cache的MLA方法做个人理解，特别是关于MLA的矩阵吸收部分，这部分Paper以及官方开源实现没有给出。然后，开源社区大佬确实出手很快，在知乎的《如何看待 DeepSeek 发布的 MoE 大模型 DeepSeek-V2？
KVCache原理简述
龙哥盟
09-21 1072
HS[-1]根据全部的V和注意力矩阵的最后一行A[-1]计算，而A[-1]根据Q[-1]和全部的K计算，Q[-1]只根据输入最后一个字符X[-1]计算。改进之后，我们GPT根据【天王盖地虎，】生成【宝】，同时还有KV(天王盖地虎，)，然后根据KV(天王盖地虎，)和【宝】生成【塔】以及KV(天王盖地虎，宝)，以此类推。那么第一次，GPT根据【天王盖地虎，】生成【宝】，之后根据【天王盖地虎，宝】生成【塔】，以此类推，直到碰上终止符。例如，我们的提问是【天王盖地虎，】，回答是【宝塔镇河妖。
【LLM】vLLM部署与int8量化
热门推荐
weixin_49816179的博客
01-09 1万+
介绍了vLLM原理并讲解如何支持peft，对不同的decoding methods进行了说明，同时详述了int8量化的过程。
kvcache原理、参数量、代码详解
taoqick的专栏
04-08 1万+
kvcache一句话来说就是把。训练的时候不需要保存。推理解码生成时都是自回归auto-regressive的方式，也就是每次生成一个token，都要依赖之前token的结果。如果没生成一个token的时候乘以W_K,W_V这俩参数矩阵要对所有token都算一遍，代价非常大，所以缓存起来就叫kvcache。举个例子，假如prompt=“The largest city of China is”，输入是6个tokens，返回是"Shang Hai"这两个tokens。
通俗易懂的KVcache图解
wlxsp的博客
11-06 1499
在分享之前先提出三个问题：1. 为什么KVCache不保存Q2. KVCache如何减少计算量3. 为什么模型回答的长度不会影响回答速度？本文将带着这3个问题来详解KVcache。
KV-Cache详解
发几十块的吧
09-18 8777
本文探讨了 KV 缓存的概念、应用以及它在自注意力机制中优化的特定计算。
大模型推理优化技术概述
qq128252的博客
06-12 1454
KV cache其实就是通过空间换取时间的方式，通过缓存Attention中的K和V来实现推理优化。注意力机制公式Q 表示查询（Query）矩阵K 表示键（Key）矩阵V 表示值（Value）矩阵dk 是键向量的维度，用于缩放因子，防止内积后的数值过大导致梯度消失问题softmax函数是用来归一化权重的计算过程矩阵乘法（QKT）：首先，计算查询矩阵Q和键矩阵K的转置的点积。这一步是为了计算每个查询和所有键之间的相似度。缩放（除以 dk）：将上述点积的结果除以dk的值。
网络图片的缓存和压缩
ZQ200720的博客
05-22 317
本文介绍了如何在 Flutter 应用中结合使用 CachedNetworkImage 和 flutter_image_compress 插件，实现对网络图片的缓存和压缩，从而避免重复加载并减少内存占用。首先，需要在 pubspec.yaml 文件中添加这两个插件的依赖。接着，创建一个自定义图片组件 OptimizedCachedNetworkImage，该组件通过 CachedNetworkImage 加载网络图片，并使用 flutter_image_compress 对图片进行压缩。最后，提供了一个使用
理论篇六：如何在Webpack中实现持久化缓存？
最新发布
weixin_40682342的博客
05-24 49
本文介绍了Webpack持久化缓存的7种核心策略：1）文件哈希命名确保内容不变时缓存有效；2）固化模块标识符防止ID变化；3）Webpack5文件系统缓存提升构建速度；4）代码分割分离稳定模块；5）抽离Runtime代码；6）CSS文件哈希命名；7）外部依赖与DLL优化。推荐组合使用这些策略，并通过构建时间对比和工具分析验证效果，同时注意CI/CD环境下的缓存共享与失效问题。合理配置可显著提升开发和生产环境的构建效率及用户缓存命中率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值