量化基础知识

## 量化基础知识

一、概述

量化是指将神经网络前向推理过程中浮点数运算量化为整数运算，以达到计算加速的目的。
通常是指将float32转化为int8进行运算，这样做会有更小的模型体积，可将模型大小减少 4 倍；更快的计算速度，与float32计算相比，int8计算速度通常快 2 到 4 倍。

二、量化方法

• 非对称量化
  非对称量化是通过收缩因子(scale) 和 零点(zero point) 将实数$[R_{min}，R_{max}]$分别映射到 [$0,2^{b-1}-1$]的范围内，b 代表量化数值的bit数。 以int8量化为例，$b=8$。
  如下图所示，将实数$[R_{min}，R_{max}]$量化到[0,255]范围内。
  
  假设输入的浮点数范围为$(R_{min},R_{max})$，对8bits量化来说，scale和零点z的计算公式如下：

$S=\frac{R_{max}-R_{min}}{(2^b-1)}=\frac{R_{max}-R_{min}}{255}$

$z=round(-\frac{R_{min}}{scale})$ 或
$z=round(255-\frac{R_{max}}{scale})$

得到了scale和零点z后，对于任意的输入r，量化值q为：
$q=\frac{r}{scale}+z$
由定点到浮点反量化公式为：
$r=(q-z)\ast scale$

- 对称量化

对称量化：通过一个收缩因子(scale)将实数$[R_{min}，R_{max}]$量化到[$-2^{b-1},2^{b-1}-1$]的范围内。 以int8量化为例，$b=8$。
如下图所示，将实数$[R_{min}，R_{max}]$量化到[−128,127]范围内。与非对称量化相比，对称量化的zero_point = 0。

$scale=\frac{R_{max}-R_{min}}{(2^{b-1}-1)-(-2^{b-1})}=\frac{R_{max}-R_{min}}{255})$

对于任意的输入r，量化值q为：
$q=\frac{r}{scale}$
由定点到浮点反量化公式为：
$r=q\ast scale$

三、卷积计算过程

卷积运算中，主要是乘累加运算，通常格式是$output={\sum }_{input\ast weight}+bias$
假设input的定点值为$Q_i$，weight为$Q_w$，bias为$Q_b$，output为$Q_o$。scale和zero_point类似。

$(Q_o-Z_o)\ast S_o=((Q_i-Z_i)\ast S_i)\ast ((Q_w-Z_w)\ast S_w)+(Q_b-Z_b)\ast S_b$
其中S_b =S_i* S_w，若都采用对称量化，即Z_i，Z_b，Z_w，Z_o为0，
则上式变为：
$Q_o\ast S_o=(Q_i\ast S_i)\ast (Q_w\ast S_w)+Q_b\ast S_i\ast S_w$

$Q_o=\frac{S_i\ast S_w}{S_o}\ast (Q_i\ast Q_w+Q_b)$

因此提前算出$\frac{S_i\ast S_w}{S_o}$即可

若input，output 采用非对称量化量化
$(Q_o-Z_o)\ast S_o=((Q_i-Z_i)\ast S_i)\ast (Q_w\ast S_w)+Q_b\ast S_i\ast S_w$

$Q_o=\frac{S_i\ast S_w}{S_o}\ast ((Q_i-Z_i)\ast Q_w+Q_b)+Z_o$

$Q_o=\frac{S_i\ast S_w}{S_o}\ast (Q_i\ast Q_w+Q_b-Z_i\ast Q_w)+Z_o$

因此提前算出$\frac{S_i\ast S_w}{S_o}$，$Z_i$，$Z_o$即可

若input，output ，weight采用非对称量化量化
$(Q_o-Z_o)\ast S_o=((Q_i-Z_i)\ast S_i)\ast ((Q_w-Z_w)\ast S_w)+Q_b\ast S_i\ast S_w$

$Q_o=\frac{S_i\ast S_w}{S_o}\ast ((Q_i-Z_i)\ast (Q_w-Z_w)+Q_b)+Z_o$

$Q_o=\frac{S_i\ast S_w}{S_o}\ast (Q_i\ast (Q_w-Z_w)+Q_b-Z_i\ast (Q_w-Z_w))+Z_o$

因此提前算出$\frac{S_i\ast S_w}{S_o}$，$Z_i$，$Z_o$, $Z_w$即可