神经网络量化入门--激活函数

(本文首发于公众号)

在之前的文章中提到过可以把 ReLU 合并到 Conv 中加速量化推理，当时只是用一个例子简单介绍一下过程，逻辑上存在一些漏洞。本文打算从数学上深入剖析一下其中的原理，并进一步扩展到其他激活函数，看看在网络量化中激活函数一般是怎么处理的。

温故知新

为了简单起见，假设我们是量化到 uint8 的数值范围「即0~255」。回忆一下量化的基本公式 (我在之前的文章中多次强调这几个公式，它们非常重要)：
$$r=S(q-Z)\text{\hspace{1em}(1)}$$
$$q=clip(round(\frac{r}{S}+Z),0,255)\text{\hspace{1em}(2)}$$
再简单重复一下符号的含义，$r$ 表示实数，$q$ 表示量化后的定点数，$S$ 和 $Z$ 分别是是 scale 和 zero point。

注意，这次我对 $q$ 单独加了一个 clip 操作，在之前的文章中，这一步在公式中被我省略了，不过在实际量化的时候，这一步是必须的，否则会有数值溢出的危险。

现在，假设激活函数为 $f(x)$，应用到实数域上是这个样子：
$$r_2=f(r_1)\text{\hspace{1em}(3)}$$
那么把 (1) 式代入后可以得到量化的公式：
$$S_2(q_2-Z_2)=f(S_1(q_1-Z_1))\text{\hspace{1em}(4)}$$
这就是量化时处理所有激活函数的总口诀，别看它平平无奇，但话越少，信息量越多。下面，我们就看看针对具体的激活函数，怎么运用这个公式。

ReLU

ReLU 是一个非常简单的函数，它除了把小于 0 的数值截断外，甚至不做任何操作：
$$\begin{array}{r}ReLU(x)=\{\begin{array}{ll}x& x>=0\\ 0& x<0\end{array}\end{array}\text{\hspace{1em}(5)}$$
如果把上面的函数 $f$ 替换成 ReLU 的公式，就可以得到：
$$\begin{array}{r}{r}_2=\{\begin{array}{ll}{r}_1& r_1>=0\\ 0& r_1<0\end{array}\end{array}\text{\hspace{1em}(6)}$$
把 (1) 式代入就变成：
$$S_2(q_2-Z_2)=\{\begin{array}{ll}{S}_1(q_1-Z_1)& q_1>=Z_1\\ 0& q_1<Z_1\end{array}\text{\hspace{1em}(7)}$$
换算一下可以得到：
$$q_2=\{\begin{array}{l}\frac{S_1}{S_2}(q_1-Z\end{array}$$