Cost-effective Attention Reuse across Multi-turn Conversations in Large Language Model Serving

本文是LLM系列文章，针对《AttentionStore: Cost-effective Attention Reuse across Multi-turn Conversations in Large Language Model Serving》的翻译。

摘要

通过多回合对话与人类互动是大型语言模型（LLM）的一个基本特征。然而，由于需要重复计算历史token的密钥值（KV）缓存，用于执行多回合会话的现有LLM服务引擎效率低下，从而导致高服务成本。为了解决这个问题，本文提出了AttentionStore，这是一种新的注意力机制，可以在多回合对话中重用KV缓存（即注意力重用），显著降低重复计算开销。AttentionStore维护一个分层的KV缓存系统，该系统利用经济高效的内存/存储介质为所有请求保存KV缓存。为了减少慢介质的KV缓存访问开销，AttentionStore采用分层预加载和异步保存方案，将KV缓存访问与GPU计算重叠。为了确保要访问的KV缓存被放置在最快的层次结构中，AttentionStore采用了调度器感知的获取和驱逐方案，根据推理作业调度器的提示，有意识地将KV缓存放置在不同的层中。为了避免上下文窗口溢出导致保存的KV缓存失效，AttentionStore通过解耦位置编码和有效截断KV缓存，使保存的KV高速缓存保持有效。大量实验结果表明