本文是LLM系列文章,针对《What Makes Quantization for Large Language Models Hard?
An Empirical Study from the Lens of Perturbation》的翻译。
摘要
量化已经成为一种很有前途的技术,可以提高大型语言模型(LLM)的内存和计算效率。尽管性能和效率之间的权衡是众所周知的,但关于量化和LLM性能之间的关系仍有很多需要了解的地方。为了阐明这种关系,我们提出了一个关于量化的新视角,将其视为添加到LLM的权重和激活中的扰动。我们称这种方法为“微扰透镜”。使用这个透镜,我们对各种人工扰动进行了实验,以探索它们对LLM性能的影响。我们的研究结果揭示了扰动性质和LLM性能之间的几种联系,为均匀量化的失败案例提供了见解,并提出了提高LLM量化稳健性的潜在解决方案。为了证明我们的发现的重要性,我们基于我们的见解实现了一种简单的非均匀量化方法。我们的实验表明,对于权重和激活,这种方法在4位权重量化和8位量化上都实现了最小的性能退化。这些结果验证了我们方法的正确性,并突出了其在不牺牲性能的情况下提高LLM效率的潜力。