清华：LLM自适应缓存压缩策略

📖标题：EMS: Adaptive Evict-then-Merge Strategy for Head-wise KV Cache Compression Based on Global-Local Importance
🌐来源：arXiv, 2412.08521

🌟摘要

🔸随着大型语言模型（LLM）的不断发展，对各种应用程序中长上下文的更高质量和更快处理的需求也在增长。KV缓存被广泛采用，因为它存储了之前生成的键和值令牌，有效地减少了推理过程中的冗余计算。然而，随着内存开销成为一个重要问题，KV缓存的高效压缩越来越受到人们的关注。大多数现有方法从两个角度执行压缩：识别重要标记和设计压缩策略。然而，由于累积的注意力分数或位置编码的影响，这些方法通常会产生重要标记的有偏分布。此外，他们忽略了不同头部之间的稀疏性和冗余性，这导致难以在头部保留最有效的信息。
🔸为此，我们提出EMS来克服这些局限性，同时在极端压缩比下实现更好的KV缓存压缩。具体来说，我们引入了一个全局本地分数，该分数结合了全局和本地KV令牌的累积注意力分数，以更好地识别令牌的重要性。对于压缩策略，我们设计了一个自适应和统一的Evict-then-Merge框架，该框架考虑了不同头部KV令牌的稀疏性和冗余性。此外，我们通过零类机制实现了头部并行压缩，以提高效率