【量化】——LSQ算法原理理解

本文主要内容转载自:https://zhuanlan.zhihu.com/p/406891271
尊重原创，请看原文
参考理解的code：QuantLib

1. Fakequantize

选取合适的scale将float的 weight tensor 转换成低比特的整型数据。一般后量化的算法都是通过找合适的scale

量化：
$$q=round(clip(r_i/scale,Q_{min},Q_{max}))$$

反量化：
$$r_o=q\times scale$$

量化 scale：
$$scale=(R_{max}-R_{min})/(Q_{max}-Q_{min})$$

其中：r表示浮点数，q表示低比特的整型数，scale是浮点和整型之间的缩放因子。

2. LSQ

LSQ中tensor的量化过程和伪量化一样，而其核心：scale不是通过tensor计算而来，而是将其作为一个可学习参数，通过训练得来

LSQ的量化，反量化公式和上面一样：

其中： $-Q_N,Q_P$是量化后整型数的最小，最大值。$v$是原始浮点数, $\hat{v}$是反量化回来的浮点数。s就是上面提到的 scale 。

将上面图片中的公式1，2合并得到：

训练时，前向$v->\hat{v}$会对tensor进行量化，反量化操作，就是上图的公式。

$\hat{v}$对$v,s$的倒数为：

$$\frac{\delta \hat{v}}{\delta v}=v,-Q_N<v<Q_P$$

上面的$\frac{\delta round(v/s)}{\delta s}$，采用STE方式求导，为：

另外，作者还认为，scale的更新要与权重的更新有一个相似的关系，所以对于scale需要做一个处理，即在前向传播的时候不做处理，在反向传播的时候引入一个因子g,具体的处理过程如下所示。

g

其中：$g=\sqrt{tensor.numel()/Q_P}$，这就是在tensor和scale之间引入的相关性变量。

scale的初值，论文中为：$s=2\times <|v|>/\sqrt{Q_p}$，其中的$<||>$ 表示一种运算，一般为max，mean。

最后，总的损失L对scale的前向和反向为：

这就是整个核心部分的原理，包括前向和反向。

3. 疑问

• conv量化之后，是能变成整数，但是怎么和bn层融合呢？