Note_ Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks

Ruihao Gong 1,2 Xianglong Liu 1∗ Shenghu Jiang 1,2 Tianxiang Li2,3 Peng Hu 2Jiazhen Lin 2 Fengwei Yu 2Junjie Yan2

IEEE/CVF International Conference on Computer Vision (ICCV)
CCF A
2019

一、动机和贡献

动机：
由于量化函数（均匀量化和二元量化）的导数大多数情况下都是 $0$，因此，使用这些方法进行量化，往往会导致训练的困难，以及模型精度的下降。
贡献：
本文提出一种“可微的”软量化方法（DSQ）来解决上述问题，其主要优势为：

• DSQ函数可以较为精确地模拟二元/均匀量化函数，同时保持训练过程中的可控性；
• 由于DSQ函数处处可微（相对于之前量化函数导数处处为0的情况），因此可以很容易且精确地应用于实际的网络训练中；
• 根据DSQ，可以平衡“剪枝误差”和“近似误差”（量化误差包含的两种形式），从而减少整体误差。

二、主要算法

2.1 可微对称函数

二元量化可以表示为：
$$Q_B(x)=\text{sgn}(x)=\{\begin{array}{ll}+1,& \text{if }x>0,\\ -1,& \text{otherwise}.\end{array}$$
均匀量化可以表示为：
$$Q_U(x)=\text{round}(\frac{x}{\Delta })\Delta ,$$
其中，范围 $(l,u)$ 分为 $2^b-1(b\in {\mathbb{I}}^{+})$ 个区间 ${\mathcal{P}}_i$，区间长度定义为 $\Delta =\frac{u-1}{2^b-1}$。

由于量化函数的导数几乎处处为0，因此引入一种“可微对称函数”来模拟二元/均匀量化器，其形式为：
$$\phi (x)=s\tanh \left(k(x-m_i)\right),\text{if}x\in {\mathcal{P}}_i,$$
其中，$m_i=l+(i+0.5)\Delta$，$s=\frac{1}{\tanh (0.5k\Delta )}$。参数 $k$ 控制了函数的形状；当 $k\uparrow$，函数越接近于阶梯函数（量化可以看成多个阶梯函数叠加的效果）。

2.2 DSQ

根据可微对称函数，可以得到DSQ为：
$$Q_S(x)=\{\begin{array}{ll}l,& x<l,\\ u,& x>u,\\ l+\Delta \left(i+\frac{\phi (x)+1}{2}\right),& x\in {\mathcal{P}}_i.\end{array}$$

因此 ，在实际中，通常利用函数函数 $Q_S(\cdot )$ 在“向前传播”阶段模拟量化，在“向后传播”阶段进行参数更新。

2.3 DSQ的超参数选择

2.3.1 特征变量 $\alpha$ 的选择

本文引入“特征变量characteristic variable” $\alpha$ 来表征DSQ和标准量化函数的差异。本文定义 $\alpha$ 为最大点之间的距离，如下图所示：

根据上图可以观察到，$\alpha$ 越小，DSQ就可以约精确地模拟传统量化函数，因此将 $\alpha$ 定义为：
$$\alpha =1-\tanh (0.5k\Delta )=1-\frac{1}{s}$$
那么，DSQ的精度就取决于参数 $\alpha$ 和 $\Delta$。因此，可以将 $s,k$ 表示为 $s=\frac{1}{1-\alpha }$，$k=\frac{1}{\Delta }\log (\frac{2}{\alpha }-1)\left(\Delta =\frac{u-l}{2^b-1},\phi (0.5\Delta )=1\right)$。

那么如何对 $\alpha$ 进行优化？可以选用对损失函数优化的方式得到，具体优化问题表示为：
$$\underset{\alpha }{\min }\mathcal{L}(\alpha ;x,y)s.t.\Vert \alpha {\Vert }_2<\lambda .$$
因此，可以通过“向后传播”更新 $\alpha$ :
$$\frac{\partial y}{\partial \alpha }=\{\begin{array}{ll}0,& x<l,\\ 0,& x>u,\\ \frac{\partial Q_S(x)}{\partial \alpha },& x\in {\mathcal{P}}_i.\end{array}$$

2.3.2 参数 $l,u$ 的更新

类似于 $\alpha$ 更新，参数 $l,u$ 的更新可以表示为：
$$\frac{\partial y}{\partial l}=\{\begin{array}{ll}1,& x<l,\\ 0,& x>u,\\ 1+q\frac{\partial \Delta }{\partial l}+\frac{\Delta }{2}\frac{\partial \phi (x)}{\partial l},& x\in {\mathcal{P}}_i,\end{array}$$
$$\frac{\partial y}{\partial u}=\{\begin{array}{ll}0,& x<l,\\ 1,& x>u,\\ q\frac{\partial \Delta }{\partial u}+\frac{\Delta }{2}\frac{\partial \phi (x)}{\partial u},& x\in {\mathcal{P}}_i,\end{array}$$
其中，$q=i+\frac{1}{2}\left(\phi (x)+1\right)$。

2.4 算法流程

注意：DSQ需结合 $\text{sgn}(\cdot )$ 函数才可以模拟传统梁阿器。