- 博客(2)
- 收藏
- 关注
RSS订阅原创 KV-Cache 简略介绍
摘要：KV缓存是Transformer自回归模型（如GPT）中的优化技术，通过存储中间计算结果避免重复计算。在标准流程中，每次生成新token时需重新计算所有历史token的注意力分数，而KV缓存仅计算新增token的键值向量，从缓存中读取历史数据，大幅减少矩阵运算量。虽然需要额外显存存储缓存数据，但显著提升推理效率。该技术适用于decoder-only模型，不适用于BERT等非生成式模型。通过对比标准流程和缓存流程的计算量差异，证明了KV缓存的有效性。
2025-05-30 10:32:49
1012
原创 大模型中的位置编码ROPE
旋转位置编码（RoPE）是一种位置编码方法，它通过旋转矩阵编码绝对位置信息，同时在自注意力机制中自然融入显式的相对位置依赖。旋转矩阵是一种通过一定角度将向量旋转到另一个向量的矩阵。它基于我们高中学过的正弦和余弦三角函数特性。zhihu-旋转矩阵）：旋转矩阵保持原始向量的长度（大小），仅改变其相对于 x 轴的角度。
2025-05-26 16:22:46
617
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人