[翻译] Log2 量化

RepQ-ViT 中提到了$log2$量化和$log\sqrt{2}$量化，找来看下公式

1. FQ-ViT 部分

Log2 量化公式翻译自:

Fq-vit: Post-training quantization for fully quantized vision transformer

介绍模型量化基本概念. 假定量化位宽 $b$, 量化器 $\text{Q}(\text{X}|b)$ 能被形式化一个函数, 能将一个浮点数 $\text{X}\in \mathbb{R}$ 映射为最近的 quantization bin:

(quantization bin 我自己一般翻译为量化值, 诸君自己看怎么翻译)
$$\begin{array}{c}\text{Q}(\text{X}|b):\mathbb{R}\to \text{q},\end{array}$$
q = { { − 2 b − 1 , ⋯   , 2 b − 1 − 1 } S i g n e d , { 0 , 1 ⋯   , 2 b − 1 } U n s i g n e d . \begin{equation} \textrm{q}= \left\{\begin{aligned} & \{-\textrm{2}^{b-1},\cdots ,\textrm{2}^{b-1}-\textrm{1}\} & Signed, \\ & \{\textrm{0}, \textrm{1} \cdots ,\textrm{2}^{b}-\textrm{1}\} & Unsigned. \end{aligned}\right. \end{equation} q={​{−2b−1,⋯,2b−1−1}{0,1⋯,2b−1}​Signed,Unsigned.​​​
已有的文献存在许多量化器 $\text{Q}(\text{X}|b)$, 比如均匀量化¹和 log2量化²

均匀量化 量化器 $\text{Q}(\text{X}|b)$ 定义为:
$$\begin{array}{c}\text{Q}(\text{X}|b)=\mathrm{clip}(\lfloor \frac{\text{X}}{s}\rceil +zp,\text{0},{\text{2}}^b-\text{1}),\end{array}$$
其中 $s$~(scale, 量化缩放系数) 和 $zp$~(zero-point, 量化零点) 由 $\text{X}$ 的上下界 $l$ 和 $u$决定, 通常是其最大最小值:

$$\begin{array}{rl}l=& \min (\text{X}),u=\max (\text{X}),\\ s=& \frac{u-l}{{\text{2}}^b-\text{1}},zp=\mathrm{clip}(\lfloor -\frac{l}{s}\rceil ,\text{0},{\text{2}}^b-\text{1}).\end{array}$$

Log2 量化 将量化过程从线性转换为指数.
量化器 $\text{Q}(\text{X}|b)$ 定义为:
$$\begin{array}{c}\text{Q}(\text{X}|b)=\mathrm{sign}(\text{X})\cdot \mathrm{clip}(\lfloor -{\log }_{\text{2}}\frac{|\text{X}|}{\max (|\text{X}|)}\rceil ,\text{0},{\text{2}}^{b-1}-\text{1}).\end{array}$$

在本文中, 为了实现完全量化的视觉变压器, 我们量化了所有模块, 包括Conv、Linear、MatMul、LayerNorm、Softmax等

2. RepQ-ViT 部分

均匀量化器是硬件支持良好的最流行的选择之一，其定义如下：
$$\begin{array}{rl}\text{Quant}& :{\mathbf{x}}^{(\mathbb{Z})}=\text{clip}\left(\lfloor \frac{\mathbf{x}}{s}\rceil +z,0,2^b-1\right)\\ \text{DeQuant}& :\hat{\mathbf{x}}=s\left({\mathbf{x}}^{(\mathbb{Z})}-z\right)\approx \mathbf{x}\end{array}$$
其中$\mathbf{x}$和${\mathbf{x}}^{(\mathbb{Z})}$分别是浮点和量化值，$\lfloor \cdot \rceil$表示四舍五入函数，$b\in \mathbb{N}$是量化位宽。

反量化值$\hat{\mathbf{x}}$近似地恢复了$\mathbf{x}$。

重要的是，$s\in {\mathbb{R}}^{+}$是量化缩放比，$z\in \mathbb{Z}$是零点，两者由$\mathbf{x}$的下限和上限确定，如下所示：

$$\begin{array}{c}s=\frac{\max (\mathbf{x})-\min (\mathbf{x})}{2^b-1},z=\lfloor -\frac{\min (\mathbf{x})}{s}\rceil \end{array}$$

$log2$量化器是另一种常见且面向硬件的选择。由于它仅在本文中应用于后Softmax激活，我们只考虑正值的量化，如下所示：
$$\begin{array}{rl}\text{Quant}& :{\mathbf{x}}^{(\mathbb{Z})}=\text{clip}\left(\lfloor -{\log }_2\frac{\mathbf{x}}{s}\rceil ,0,2^b-1\right)\\ \text{DeQuant}& :\hat{\mathbf{x}}=s\cdot 2^{-{\mathbf{x}}^{(\mathbb{Z})}}\approx \mathbf{x}\end{array}$$
其中log2函数和基于2的幂函数都可以使用快速而高效的位移操作来实现³⁴

---

1. Quantization and training of neural networks for efficient integer-arithmetic-only inference ↩︎

2. A deep look into logarithmic quantization of model parameters in neural networks ↩︎

3. Lognet: Energy-efficient neural networks using logarithmic computation ↩︎

4. Fq-vit: Post-training quantization for fully quantized vision transformer ↩︎