Transformer 量化论文推荐

Full-integer Inference

1. I-BERT: Integer-only BERT Quantization

基于多项式来实现Integer-only的non-learner算子，如LN、softmax、GeLU，文章虽然针对的是Bert，但是对其他transformer模型同样有效。

2. FQ-ViT: Post-Training Quantization for Fully Quantized Vision Transformer

基于Power-of-Two Factor实现LN，基于log2 quantization实现softmax，硬件友好

3. SCALED QUANTIZATION FOR THE VISION TRANSFORMER

Outlier Features Quantization

1. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

huggingface中使用的transformer量化方案，文章分析了随着model size以及PPL的变化，features会产生什么样的变化，并且提出了LLM.int8()量化（一种混合量化），很具有实用性和启发性。

2. ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers

针对Outlier Features提出了Group-wise Quantization for Weights和Token-wise Quantization for Activations以及Layer-by-layer Knowledge Distillation with Affordable Cost

3. PTQ4ViT: Post-Training Quantization for Vision Transformers with Twin Uniform Quantization

分析post-GELU 和 post-Softmax的特征分布，提出了twin uniform quantization，并且提出了Hessian Guided Metric来更好的选择量化参数