大模型厂商纷纷入局的Prompt Cache技术解析

Prompt Cache技术，旨在通过在大型语言模型（LLM）的推理过程中重用不同提示（prompts）之间的注意力状态来加速推理。

图1 比较大型语言模型（LLM）生成Token的方法，每种方法展示三个步骤（1至3）。每个框表示一个令牌。蓝色框代表提示。(a) 一个LLM接收一个提示（蓝色令牌）并预测下一个令牌（A）（1）。然后，它将生成的令牌（A）附加到提示上以预测下一个令牌（B）（2）。这个过程被称为自回归，会一直持续直到满足停止条件。(b) KV缓存仅在第一步（1）计算一次提示的时间注意力状态，并在随后的步骤中重复使用它们；© Prompt Cache在服务之间重用KV状态以绕过提示注意力计算。当加载一个模式时，Prompt Cache会填充其缓存，并为从模式派生的提示重用缓存状态（1）。图2进一步详细说明了步骤1。

• 问题识别：许多输入提示在结构上高度重叠，例如系统消息、提示模板和文档上下文。这些重叠的文本段可以预先计算并存储其注意力状态，以便在用户提示中出现时重用。

• Prompt Cache技术：通过使用称为Prompt Markup Language（PML）的模式，明确定义可重用的文本段，称为提示模块（prompt modules）。PML确保在重用注意力状态时位置的准确性，并为用户提供了一个接口来访问他们的提示中的缓存状态。

• 工作流程：当Prompt Cache接收到一个提示时，它首先处理其模式，并计算其提示模块的注意力状态。然后，这些状态被重用于提示中的提示模块，以及其他从同一模式派生的提示。

图2 Prompt Cache中的重用机制：(i) 首先，PML在模式和提示中明确了可重用的提示模块。提示模块可以有参数，如行程计划。导入模块的提示为参数（持续时间）提供值（3天）。提示可以在排除的模块和参数的位置上包括新的文本段，并在末尾添加。(ii) 其次，提示模块编码为模式中的所有模块预先计算注意力状态（1），并为将来的重用而缓存它们。(iii) 第三，当提供提示时，Prompt Cache采用缓存推理：它检索为导入的提示模块缓存的注意力状态（2），为参数（3）和新的文本段（4）计算它们，最后将它们连接起来，以产生整个提示的注意力状态（5）。这个图是对图1c中步骤1的进一步阐述。

• 设计和实现：Prompt Cache的设计包括了对提示结构的明确化、提示模块的编码、以及缓存推理的详细过程。实现使用了HuggingFace的transformers库，并在CPU和GPU上进行了评估。

使用原型实现，在多个LLM上评估了Prompt Cache。结果表明，Prompt Cache显著减少了首次生成token的时间延迟，尤其是在基于文档的问答和推荐等长提示上。GPU上的性能提升范围从8倍到60倍，CPU上则高达60倍，所有这些提升都在保持输出准确性的同时，无需修改模型参数。

GPU延迟测量**：首次令牌时间（TTFT）对于三个NVIDIA GPU上的八个LongBench数据集。**

CPU延迟测量 ：首次令牌时间（TTFT）对于两个CPU上的八个LongBench数据集。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓