如何有效控制 KV 缓存的内存占用，优化推理速度？

使用 KV 缓存技术的目的是在生成过程中计算过去 tokens 的键和值张量时，将这些张量存储（“缓存”）在 GPU 内存中，从而避免在每个生成步骤中重新计算这些 tokens 的键和值张量。

KV缓存是一种妥协：我们以内存的消耗换取计算量的减少。在这篇文章中，我们将了解 KV 缓存的容量有多大、会带来哪些挑战，以及面对这些挑战最常用的应对策略是什么。

01 KV 缓存的容量有多大？
这相当简单：对于每个 batch 中每个序列的每个token，我们需要为每个注意力层（attention layer）的每个注意力头（attention head）存储两个大小为 d_head 的向量张量（一个键张量和一个值张量）。每个张量参数（tensor parameter）所需的空间取决于精度（precision）：全精度（FP32）为 4 字节/参数，半精度（BF16、FP16）为 2 字节/参数，8 位（bit）数据类型（INT8、FP8）为 1 字节/参数，等等。

b 为batch size，t 为序列总长度（包括用户提供的提示词（prompt）以及模型生成的补全部分（completion）&#