大模型后量化类型比较与选取

一、目录

1.量化对象有哪些？
2.常见的量化精度有哪些？
3.什么是后量化？
4. AWQ量化相关知识
5. GPQT量化相关知识
6. AWQ量化与GPTQ量化对比
7. Smooth quant 量化相关知识
8. 如何选择量化类型？
10. 评估量化对各种NLP任务的影响
11. 评估量化对不同LLMs的影响
12. 不同的Tensor类型对量化的影响
13. 不同的量化方法对模型的影响

二、实现

1. 量化对象有哪些？
   可以对模型参数（weight）、激活值（activation）或者梯度（gradient）做量化。
   通常而言，模型的参数分布较为稳定，因此对参数 weight 做量化较为容易。
   然而，模型的激活值往往存在异常值，直接对其做量化，会降低有效的量化格点数，导致精度损失严重，因此，激活值的量化需要更复杂的处 理方法（如 SmoothQuant）
   常见的量化精度有哪些？
   可以将模型量化为 int4、int8，fp16 等整型数据格式。

2. 后量化 PTQ？
   模型训练后进行量化处理，旨在提高推理速度、降低显存。

3. AWQ量化相关知识

   1. AWQ 量化原理：AWQ是一种权重量化方法。通过保护更“重要”的权重不进行量化，从而在不进行训练的情况下提高准确率。
   2. 如何保护重要权重？
      作者提出了一种 激活感知权重量化方法。即通过保