本文是LLM系列文章,针对《IntactKV: Improving Large Language Model Quantization by
Keeping Pivot Tokens Intact》的翻译。
摘要
大型语言模型(LLM)擅长于自然语言处理,但需要密集的计算。为了缓解这种情况,已经探索了各种量化方法,但它们会影响LLM的性能。本文揭示了LLM中一种以前被忽视的异常值类型。发现这种异常值将大部分注意力分数分配在输入的初始标记上,称为枢轴标记,这对量化LLM的性能至关重要。鉴于此,我们建议IntactKV从全精度模型中无损地生成枢轴token的KV缓存。该方法简单且易于与现有的量化解决方案相结合。此外,INTACTKV可以被校准为额外的LLM参数,以进一步提升量化的LLM。数学分析也证明INTACTKV有效地降低了量化误差的上限。经验结果表明,INTACTKV带来了一致的改进,并在各种下游任务上实现了无损的仅加权INT4量化,从而为LLM量化带来了新的技术水平。
1 引言
2 动机
3 方法
4 实验
5 结论
在本文中,我们提出了INTACTKV,这是一种简单易组合的方法来改进大型语言模型的量化。这项研究的动机是之前被忽视的枢轴token的异常值,这导致了对量化LLM性能至关重要的注意力下沉。通过生成具有全精度模型的INTACTKV,可以有效地减轻在注意力得分上累积的量化误差。INTACTKV也可以作为LLM主干的附加参数进行校准,从而进一步改进量化LLM。实验表明,将所提出的