量化感知训练——LSQ(一：原理)

机械系的AI小白

已于 2024-03-10 16:07:15 修改

阅读量1.6k

点赞数 22

分类专栏：量化感知训练文章标签：人工智能深度学习

于 2024-03-03 21:01:44 首次发布

本文链接：https://blog.csdn.net/weixin_42841721/article/details/135878973

版权

量化感知训练专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1. 什么是模型量化

个人总结：对浮点型(float)的模型参数(weight)和激活值(activation)通过某个映射，离散化成整型，如将float的参数通过一个线性映射变成int8的整型。

比如这个线性映射可以如下：

$q = s * r + z$ (1)
其中 $r$ 为float类型的参数， $s$ 为缩放参数scale, $z$ 为偏置，也称为零点值(zeropoint), 就是当 $r$ 为0是，对应的量化值； $q$ 为量化后的值。

2. 为什么要模型量化

模型量化的目的是为了将float类型的计算，变成整型的计算。比如我们一般PC端训练的模型的参数是float32类型，在计算时占的位宽32; 而比如int8的位宽只有8(int4的位宽只有4，等等)，使用量化后的int8来进行模型的推理计算，然后再反量化得到最终输出，显然提升了计算速度，减少了计算内存的空间。但是，将float32量化成int8进行推理后再反量化回来，结果显然是容易产生误差的；比如：有一个tensor:

$tensor = [0.03, 1. 51, 90.31 , 21.65]$

现在我们需要将这个tensor量化到uint8, 也就是[0, 255]。

根据公式(1)，首先计算 $s$ , $z$ ：

$s =\frac{ 2 ** bit}{(max - min)}$ (2)

$z = \frac{ (min) *(2 ** bit)}{(max - min)}$ (3)

把数值带入(2), (3)得：

$s =\frac{ 2 **8 - 1}{(90.31 - 0.03)} = 2.8245458573327427$

$z = round(\frac{ (0.01) *(2 ** 8 - 1)}{(90.31 - 0.03)}) = round(0.028245458573327428) = 0$

$qtensor = round(s * tensor + z = 2.8245458573327427 * [0.03, 1. 51, 90.31 , 21.65]) + 0 = [0, 4, 255, 61]$

那么此时进行反量化还原的话：

$r{}' = \frac{q - z}{s} = \frac{[0, 4, 255, 61]}{2.8245458573327427} = [ 0.0000, 1.4162, 90.2800, 21.5964]$

量化前的tensor： $tensor = [0.03, 1. 51, 90.31 , 21.65]$ ，

量化后的qtensor: $qtensor = [ 0.0000, 1.4162, 90.2800, 21.5964]$

显然两者是有误差的。这种误差的积累将导致模型推理的结果发生改变，发生改变往往意味着模型量化后的准确率会变低。因此，模型量化需要解决的一个最重要的问题就是量化后如何保证推理的准确率。

3. 怎么进行量化

一般一下种方式：

后训练量化(Post-trainging quantization, 简称PTQ)：

对训练后的模型参数，利用统计学或者其他一些方法，找到一个合理的映射，把float型离散化为整型。

量化感知训练(Quantization Awaring training, 简称QAT)

通过在训练中模拟量化的过程（如何模拟这个量化的过程，这就是各种量化训练方法要解决的问题），然后再对模拟量化的节点进行反量化，通过更新参数使得参数适应量化过程保持准确率尽量不下降。
5. 量化感知训练

前面说了量化感知训练是什么，那么其中两核心个问题：

1. 怎么模拟量化过程？

插入伪量化节点：对训练的weight和激活值进行量化，然后再反量化得到新的weight和激活值，利用新的weight和激活值进行前向计算。

2. 怎么更新参数？

直通估计(Straight Through Estimator 简称STE):在反向传播中，由于反量化后得到的新的 $weight{}'$ 的偏导处处为零(round取整操作的导数为0)，跳过伪量化的过程，直接对伪量化之前的 $weight{}$ 进行更新，通过伪量化得到的 $weight{}'$ 计算的结果来模拟量化误差，通过这个误差来反向修正原始的 $weight{}$ ,以适应量化产生的误差。

4. QAT算法——LSQ算法原理介绍

LSQ算法是一种经典的QAT算法，LSQ全称为learning Step Size Quantization;

主要的算法思想：通过插入伪量化节点，通过量化训练来学习量化参数scale并不断更新scale, 以达到量化的目的。与其他的量化训练不同的是，网络学习不仅是调整weight来适应量化误差，还加入了scale（lsq+加入了偏移offset的学习），通过对scale的学习来适应量化误差。

核心问题：如何更新量化参数scale?

首先LSQ也是插入伪量化节点，也是利用STE来更新参数。

伪量化的前向计算如下：

那么weight的伪量化的过程可由下列公式表示(这里假如LSQ的量化为对称量化)：

$\bar{v} = clip(round(v / s), -Q\displaystyle{n}, Q\displaystyle{p})$ (4)

$\hat{v} = \bar{v} * s$ (5)

其中，clip代表截断操作，round代表取整操作。 $v$ 是 float 的输入， $\bar{v}$ 是量化后的数据 (仍然使用 float 来存储，但数值由于做了 round 操作，因此是整数)， $\hat{v}$ 是反量化的结果。 $-Q\displaystyle{n}$ 和 $-Q\displaystyle{p}$ 分别是量化数值的最小值和最大值 )， $s$ 是量化参数。

通过公式(4), (5)合并为下公式：

$\hat{v}$ 对 $s$ 求导得：

其中：

得到（ ∂⌊𝑡⌉/∂𝑡 是 STE 得到）：

通过以上公式的推到，我们得到了插入伪量化节点后，被量化参数对scale参数的偏导，也就知道了通过训练学习scale的理论基础。

在计算 𝑠 的梯度的时候，需要注意其参数更新的幅度和权重参数更新的幅度是成比例的，这有助于训练更好的收敛, ratio定义如下：

$R = \frac{\nabla{s} L} {s} / \frac{\Vert \nabla{w}L\Vert}{\Vert{w}\Vert}$

算法参数初始化和s的梯度调整：

每一层的权重(weight)或激活值(activation)有对应的s(scale), 一般可以初始化为 $2\langle{\vert v \vert}\rangle / \sqrt{Q_P}$ ：量化训练的权重（weight）的初始化可由预训练好的float模型的权重得到，激活值的初始化可由一些代表性的数据进行推理计算得到。