大模型量化算法之LLM.int8()

LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
发表于 NIPS 2022

核心思想：

将大多数的 regular Value 用正常的 INT8 量化（vector-wise）
而针对少数的 outliers，绝对值非常大，一般以 channel 的形式出现，分离出来、保留 fp16 精度

具体做法：

1. Vector-wise quantization
   为 $X_{f16}$ 的每一行赋予一个不同的 缩放常数 $c_{xf16}$，为 $W_{f16}$ 的 每一列 赋予一个 缩放常数 $c_w$
   $$C_{f_{16}}\approx \frac{1}{c_{xf16}\otimes c_{wf16}}{C}_{i32}=S\cdot C_{i32}=S\cdot A_{i8}{B}_{i8}=S\cdot Q(A_{f16})Q(B_{f16})$$
2. Outliers
   通过阈值确定， 文中取阈值 $\alpha =6.0$

outliers 出现在特定的 特征、隐藏 维度 h 中

outliers occur systematically for almost all sequence dimensions s but are limited to specific feature/hidden dimensions h

有 outliers 出现的 channel 的数量 不超过 7

实现结果

C4数据集上的 困惑度 表现

模型压缩率的展现（相同的实验平台下可以跑更大规模的LLM）