LLM中的K-V cache

已于 2024-01-18 16:56:07 修改
阅读量1.5k 收藏 24
点赞数 36
文章标签： python 深度学习 机器学习 llama
于 2024-01-17 20:45:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42296251/article/details/135659424
版权

K-V cache的原理的学习笔记

首先要明确的一点是K-V cache建立在causal attention的基础之上，即第 t t t个token只会与第 t − i t-i t−i个tokens计算 Q @ K @ V Q@K@V Q@K@V,这就会出现下图的情况在这里插入图片描述
上述过程用公式表示为：

在这里插入图片描述

可以看到，当新加入token后，其计算结果只和当前token的 Q K V QKV QKV、历史token的 K V KV KV有关，因此通过将历史token的 K V KV KV保存下来，可以有效降低计算量。
如下图所示：
在这里插入图片描述

参考文献：[1]Transformer推理性能优化技术很重要的一个就是K V cache，能否通俗分析，可以结合代码? - 看图学的回答 - 知乎
     [2]理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等

icewithzero
关注
  • 36
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
06-09
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
LLM - Generate With KV-Cache 图解与实践 By GPT-2
BITDDD小栈
05-13 966
LLM Generate With KV-Cache 图解与实践 By GPT-2
大模型(LLM)推理加速之KV Cache技术
Cheny1m的博客
01-22 2256
在学习Key-Value Cache(kv cache)，读者需要熟悉Transformer架构，最好能够懂得。本文不会再对Transformer架构做赘述。
LLM系列：KVCache及优化方法
2401_84494441的博客
06-11 861
KV cache的峰值显存占用大小: b(s+n)∗h∗l∗2∗2=4blh(s+n)b(s+n)∗h∗l∗2∗2=4blh(s+n)b(s+n)∗h∗l∗2∗2=4blh(s+n)，输入序列长度s，输出序列长度n，第一个2表示k/v cache，第二个2表示fp16占用2个字节，transformer模型的层数为l，隐藏层维度为h。按查询头Q分组，每个组共享一个K和V。如下以GPT2结构第i层推理过程为例，分析KV Cahche计算过程，其中WQi，WKi，WVi，WOi，Wupi，WdowniW_Q。
GPTCache：LLM 应用必备的【省省省】利器
ZILLIZ
04-11 812
GPTCache 中的相似性评估模块从 Cache Storage 和 Vector Store 中收集数据，并使用各种策略来确定输入请求与来自 Vector Store 的请求之间的相似性，该模块用于确定某一请求是否与缓存匹配。所以，我们决定将其开源，为更多用户提供便利。GPTCache 是 LLM 语义缓存层（caching layer），它采用语义缓存（semantic cache）[1]技术，能够存储 LLM 响应，从而显著减少检索数据所需的时间、降低 API 调用开销、提升应用可扩展性。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 401
AI菜鸟向前飞 — LLM简介
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 1175
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
LLM学习笔记-4
大学生的博客
04-25 369
# 从Hugging Face加载预训练权重 1. 因为每次训练都要有资源消耗 (GPU算力，还有时间成本），所以说及时保存模型是非常重要的。 2. 教大家如何去下载Hugging Face的模型进行生成文本
LLM - Qwen-72B LoRA 训练与推理实战
BITDDD小栈
02-05 5102
LLM Qwen-72B 简介与 LoRA 微调、推理。
LLM分布式训练 --- Megatron-LM
摩登都市天空---专栏
08-26 6029
数据并行模式会在每个worker之上复制一份模型，这样每个worker都有一个完整模型的副本。输入数据集是分片的，一个训练的小批量数据将在多个worker之间分割；worker定期汇总它们的梯度，以确保所有worker看到一个一致的权重版本。对于无法放进单个worker的大型模型，人们可以在模型之中较小的分片上使用数据并行。a）超过某一个点之后，每个GPU的batch size变得太小，这降低了GPU的利用率，增加了通信成本；
1. Tensorrt-llm 基础
yangyu222的专栏
06-27 1053
修改/usr/local/lib/python3.10/dist-packages/tensorrt_llm/quantization/quantize.py。其中exclusive 为不想量化的decode block。转换huggince face 模型为checkpoint。同样exclusive_modules 为不想量化的层。注意： cuda 版本不必和宿主机cuda 版本一致。可以看出放弃最后几层的量化是对模型精度有略微提升的。注意：截至2024年6月建议安装0.10.0。
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
whl格式文件 TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于...
Building LLM Powered Applications-2024.5.pdf
最新发布
07-18
接下来，重点介绍了基于 Python 的轻量级框架LangChain，指导您创建能够从非结构化数据中检索信息的智能体（agent），并使用 LLM 和强大的工具包，对结构化数据进行高效处理。 此外，本书还涉足 LFM 领域，它超越了...
LangChain-for-LLM-Application-Development-main.zip
06-27
LangChain-for-LLM-Application-Development-main.zip
cv2读取和保存图片
m0_53291740的博客
07-12 267
cv2.imwrite('b\\img1.png',img)#b存在就可以保存进去。如果b存在，c不存在，程序不会报错，也不会保存图片。如果目录b不存在就会存到当前文件夹。
《JavaSE》---6.＜基础语法（Java三大程序控制结构）＞
m0_73456341的博客
07-14 783
本篇博客主要讲解Java基础语法中的三大结构，一种顺序结构、两大分支结构i（if-else、swich-case）、四大循环结构（while、do while、fot、foreach）
华为od机试真题 — 代表团坐车(Python)
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 526
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
LLM-RAG是什么
07-02
LLM-RAG是“Large Language Model with Retrieval Augmentation”（大型语言模型与检索增强）的缩写。这是一种结合了大型预训练语言模型（如通义千问）和基于检索的方法的技术。在传统的语言模型中，模型完全依赖于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值