- 博客(57)
- 收藏
- 关注
RSS订阅原创 【大模型推理优化】KV Cache 从0到1彻底详解
KV Cache是一种优化大模型自回归推理的技术，通过缓存历史token的K、V特征避免重复计算。在Decoder-only架构中，模型逐token生成文本时，原生推理需反复计算整个序列的Q、K、V矩阵，导致O(N²)复杂度。KV Cache通过预填充（Prefill）阶段缓存初始Prompt的K、V，解码（Decode）阶段仅计算新token的特征并拼接历史缓存，将复杂度降至O(N)。
2026-05-29 13:56:02
431
原创 注意力机制：多头注意力机制、分组查询注意力机制、多查询注意力机制理论+代码
注意力机制：多头注意力机制、分组查询注意力机制、多查询注意力机制理论+代码
2026-05-21 09:44:09
409
原创 位置编码：绝对位置编码、相对位置编码、旋转位置编码
模型本身是“无状态”的，它看不到句子里单词的顺序（比如“我吃苹果”和“苹果吃我”，在模型眼里如果不做处理，输入的token是一样的），那它怎么区分语序、理解语义呢？答案就是「位置编码」——它就像给每个单词贴了一个“坐标标签”，告诉模型“这个单词在句子里排第1位、那个排第3位”，让模型能捕捉到语序带来的语义差异。
2026-03-19 10:55:41
763
原创 LongLoRA微调策略
以个人观点去看LongLoRA，其实是在同样位置、同样计算量下，拿到更远位置的特征。举个通俗的例子：普通分组 = 把人分成 4 人一桌，只能跟同桌说话→ 信息传不远。S2-Attn =一半人（静态头）：还是只跟同桌说话（保证本地准确），另一半人（移位头）：把隔壁桌的话带过来给你听→ 你不用站起来、不用换桌，但你听到了隔壁桌的内容。
2026-02-26 16:19:12
778
原创 为什么self-attention除以根号dk而不是其他值
最近在看transformers源码的过程中一直有个疑问，为什么self-attention在Q向量与K向量转置相乘后要除以根号dk而不是dk或是其他值，借此机会做个记录。
2026-01-23 18:46:49
125
原创 VS Code用Cline插件部署DeepSeek API，实现代码补全、AI编程的方法
VS Code用Cline插件部署DeepSeek API，实现代码补全、AI编程的方法。
2025-02-11 20:01:19
4419
原创 RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`
bert模型报错
2024-07-11 14:35:56
784
原创 ChatGLM推理报错RuntimeError: probability tensor contains either `inf`, `nan` or element ＜ 0
ChatGLM推理报错RuntimeError: probability tensor contains either `inf`, `nan` or element < 0
2023-10-12 22:09:35
9678
6
空空如也
没有return的递归为什么不死循环
2023-07-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人