GDFQ：基于Data-Free的低比特量化方法

本文是华南理工大学的一个团队发表在ECCV2020上的基于生成器的低比特无数据量化（GDFQ）工作。为消除数据依赖问题，GDFQ利用知识匹配生成器以利用预训练全精度模型的分类边界知识与分布信息生成有意义的假数据，以实现精度损失较少的低比特无数据量化。

• 论文题目：Generative Low-bitwidth Data Free Quantization
• 论文网址：https://arxiv.org/abs/2003.03603
• 论文代码：https://github.com/xushoukai/GDFQ

动机

针对无法获得原始数据情况，为消除数据依赖的同时获得比较好的量化效果。本文贡献在于：

• 提出了一种名为GDFQ的方案，该方案无需任何真实数据即可执行4bit量化。作者提出这是第一个低位宽无数据量化方法。
• 提出了一个有效的知识匹配生成器，可以通过从预训练全精度模型中挖掘知识来构建数据。生成的数据保留了分类边界知识和数据分布信息。
• 与现有无数据量化方法相比，在图像分类数据集上的实验证明了我们方法的优越性能。

方法

设计核心在于设计一种生成伪数据的生成器，以便进行监督学习以提高量化性能。总体框架如下图所示：

知识匹配生成器

分类边界信息匹配：生成对抗网络（GANs）在生产数据方面取得了巨大的成功，但由于原始数据不已知，判别器不已知的情况导致无法产生有意义的分布，但是我们可以通过预训练模型最后一层很容易确定原始数据类别数量。因此引入了一个以 y 为标签的噪声向量 z。

$$\hat{\mathbf{x}}=G(\mathbf{z}\mid y),\mathbf{z}\sim \mathcal{N}(0,1)(3)$$

引入交叉熵损失函数训练生成器：

$${\mathcal{L}}_{\mathrm{C}\mathrm{E}}^G(G)={\mathbb{E}}_{\mathbf{z},y}[\mathrm{CE}(M(G(\mathbf{z}\mid y)),y)](4)$$

分布知识匹配：利用预训练模型中的BN层包含训练数据的分布信息。在全精度模型训练时会动态计算批归一化统计量（BNS），即均值和方差。利用（5）可以学习一个好的生成器，以保持训练数据中的分布信息。

$${\mathcal{L}}_{\mathrm{B}\mathrm{N}\mathrm{S}}(G)=\sum _{l=1}^L{\Vert {\mathbf{\mu }}_l^r-{\mathbf{\mu }}_l\Vert }_2^2+{\Vert {\mathbf{\sigma }}_l^r-{\mathbf{\sigma }}_l\Vert }_2^2(5)$$

低位宽量化

对于权重和激活量化方法，对于给定 θ 和量化精度 k，θ’是 θ 线性量化得到的离散值，其中 ${\theta }^{\prime }=\lfloor \Delta \cdot \theta -b\rceil ,\Delta =\frac{2^k-1}{u-l},b=l\cdot \Delta +2^{k-1}$, u、l分别为 θ 的最大值和最小值。

$${\theta }_q=\{\begin{array}{ll}-2^{k-1},& \text{ if }{\theta }^{\prime }<-2^{k-1}\\ 2^{k-1}-1,& \text{ if }{\theta }^{\prime }>2^{k-1}-1\\ {\theta }^{\prime },& \text{ otherwise }\end{array}(6)$$

由于没有真实训练数据，从全精度网络直接量化可能会导致严重性能下降，因此采用交叉熵损失函数对量化模型Q进行了微调。

$${\mathcal{L}}_{\mathrm{C}\mathrm{E}}^Q(Q)={\mathbb{E}}_{\hat{\mathbf{x}},y}[\mathrm{CE}(Q(\hat{\mathbf{x}}),y)](7)$$

另外由于数据是伪造的，常见分类损失函数不足以完成微调过程。借助伪造数据，可以通过知识蒸馏来进一步提高量化性能，即使用KL损失函数。

$${\mathcal{L}}_{\mathrm{K}\mathrm{D}}(Q)={\mathbb{E}}_{\hat{\mathbf{x}}}[\mathrm{K}\mathrm{L}(Q(\hat{\mathbf{x}}),M(\hat{\mathbf{x}}))](8)$$

训练过程

交替优化生成器G和量化模型Q。另外，为了使Q的微调更加稳定，首先仅对G进行几次训练作为预热过程。

训练生成器G

$${\mathcal{L}}_1(G)={\mathcal{L}}_{\mathrm{C}\mathrm{E}}^G(G)+\beta {\mathcal{L}}_{\mathrm{B}\mathrm{N}\mathrm{S}}(G)(9)$$

训练量化模型Q

$${\mathcal{L}}_2(Q)={\mathcal{L}}_{\mathrm{C}\mathrm{E}}^Q(Q)+\gamma {\mathcal{L}}_{\mathrm{K}\mathrm{D}}(Q)(10)$$

实验结果

评估G生成的伪数据是否能够匹配分类边界信息

数据集 4-bit 精度比较

消融实验

---