量化教程3——量化校准方法

一、什么是校准
校准是为模型权重和激活选择边界的过程。为了简单起见，这里只描述了对称范围的校准（工业界一般对称量化即可满足需求），如对称量化所需。这里考虑三种校准方法：

• Max：使用校准期间的最大绝对值；
• Histogram：将范围设置为校准期间看到的绝对值分布的百分位。
• Entropy：使用 KL 散度来最小化原始浮点值和量化比特表示的值之间的信息损失。

二、Max校准
Max校准主要是用校准期间的最大绝对值；
校准过程如下所示：
1、对输入求取绝对值；
2、算出绝对值的最大值；
3、以Tensorrt的 int8 对称量化为例，这里如果想得到Scale就要除以127。