- 博客(1)
- 收藏
- 关注
RSS订阅原创 大模型推理加速：量化与KV Cache深度解析
本文探讨大语言模型(LLM)推理优化的两大关键技术：量化和KVCache。量化通过降低权重和激活值的精度(如INT8/INT4)来减少显存占用和提升计算速度，方法包括训练后量化(PTQ)和量化感知训练(QAT)。KVCache则通过缓存历史token的Key/Value向量来避免重复计算，将复杂度从O(n²)降至O(n)。两者协同应用可实现极致压缩与加速，量化节省的显存可为KVCache提供更多空间。文章介绍了GPTQ、AWQ等量化工具和PagedAttention等优化技术，为开发者提供了在精度与效率间平
2026-03-22 13:17:09
675
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人