SmoothQuant+：可以用于大语言模型的 4-bit 量化算法

‍‍‍

‍LLMs 在各种任务上展现出令人惊叹的能力，但是庞大的模型尺寸和对算力的巨大需求对模型的部署也提出了挑战。目前 4-bit 的 PTQ 权重量化在 LLMs 上已经取得了一些成绩，相对 FP16 内存占用减少近 75%，但是在精度上仍有较大的损失。我们在论文《SmoothQuant+：Smooth LLM Weight Quantization and Acceleration in 4-bit》中，提出了 SmoothQuant+，一种无需训练的、精度无损的、通用高效的 4-bit 权重 PTQ 量化方法。基于权重量化的误差被激活的离群点所放大这一事实，SmoothQuant+ 在量化之前按通道平滑激活的离群点(outliers)，同时为了数学上的等效性调整对应的权重，然后再对线性层的权重进行 group-wise 4-bit 量化。我们把 SmoothQuant+ 融入了 vLLM 框架，一个先进的专门为 LLMs 开发的高吞吐量推理引擎，并为其配置了高效的 W4A16 CUDA 计算核，使得 vLLM 能够无缝支持 SmoothQuant+ 4-bit 量化。我们证明了通过 SmoothQuant+，Code Llama-34B 模型能够在一个A100 40GB  GPU 上完成量化、部署，在精度无损的同时，吞吐量是双卡  A100 40GB  部署的 FP16 模型的 1.9-4.0 倍，Latency Per Token 只有双卡 A100 40GB 部署的 FP16 模型的 68%。这是我们所知的最好的 4-bit 权重量化。

论文地址：

https://arxiv.org/abs/2312.03788。

下面让我们来看看这篇论文吧。

量化前，先 Smooth LLMs

当 LLMs 的