Ternary weight networks

文章链接

Ternary weight networks​

主要提出了一个Ternary weight networks（TWNs），它将网络的权值限制为 { − 1 ， 0 ， 1 } \{-1， 0， 1\} {−1，0，1}。并且把它的性能和binary precision weight networks（BPWNs）和full precision weight networks（FPWNs）做了比较。

Expressive ability：能够表达的滤波器更多，例如对于一个$3\times 3$的滤波器，可以有$3^{3\ast 3}=19683$种模板，而BPWNs只有$2^{3\ast 3}=512$种模板

Model compression：比BPWNs大一倍

Computation requirement：就计算量而言，由于0是不需要任何的乘法计算的，所以计算量和BPWNs相同。

Problem formulation

目标：最小化原始的权重W和乘以一个非负的尺度因子$\alpha$的三值化之后的权重$W^t$之间的欧拉距离（Euclidian distance），即：
Cannot read property 'type' of undefined
这里n是滤波器的大小。TWNs在前向时的传播如下所示;
Cannot read property 'type' of undefined
其中，$X$是一个block的输入，$\ast$表示卷积运算或者inner product，$g$是非线性激活函数，$\oplus$表示inner product或者是不做乘法的卷积运算。$X^{next}$表示这个block的输出，或者下一个block的输入。

Approximated solution with threshold-based ternary function

$$W_i^t=f_t(W_i|\Delta )=\{\begin{array}{llccc}+1,& if& W_i& >& \Delta \\ 0,& if& \left|\begin{array}{c}{W}_i\end{array}\right|& ⩽& \Delta \\ -1,& if& W_i& <-& \Delta \end{array}\text{\hspace{1em}(3)}$$

式中，$\Delta$是一个正的阈值，将$(3)$代入$(2)$中，可得
$${\alpha }^{\ast },{\Delta }^{\ast }={\mathrm{argmin}}_{\alpha \ge 0,\Delta \ge 0}(\left|\begin{array}{c}{I}_{\Delta }\end{array}\right|{\alpha }^2-2(\sum _{i\in I_{\Delta }}\left|\begin{array}{c}{W}_i\end{array}\right|)\alpha +c_{\Delta })\text{\hspace{1em}(4)}$$

其中， I Δ = { i ∣ ∣ W i ∣ } > Δ I_{\Delta}=\{i|\begin{vmatrix} W_i \end{vmatrix} \}>\Delta IΔ​={i∣∣∣​Wi​​∣∣​}>Δ，$\left|\begin{array}{c}{I}_{\Delta }\end{array}\right|$表示$I_{\Delta }$中权值大于$\Delta$的个数。$c_{\Delta }={\sum }_{i\in I_{\Delta }^c}{W}_i^2$是一个与$\alpha$无关的常量。因此，对于一个给定的$\Delta$，$\alpha$的最优值为：
$${\alpha }_{\Delta }^{\ast }=\frac{1}{\left|\begin{array}{c}{I}_{\Delta }\end{array}\right|}\sum _{i\in I_{\Delta }}\left|\begin{array}{c}{W}_i\end{array}\right|\text{\hspace{1em}(5)}$$
将$(4)$式中的$\Delta$固定，$c_{\Delta }$是一个常数可忽略，对$\alpha$求导即可得到$(5)$。将$(5)$式代入$(4)$中，可以得到一个与$\Delta$相关的方程，简化可得：
$${\Delta }^{\ast }={\mathrm{argmax}}_{\Delta >0}\frac{1}{\left|\begin{array}{c}{I}_{\Delta }\end{array}\right|}(\sum _{i\in I_{\Delta }}\left|\begin{array}{c}{W}_i\end{array}\right|{)}^2\text{\hspace{1em}(6)}$$
但是式$(6)$没有一个直接的解，因此假设$W_i$s是均匀分布或者正态分布的(uniform or normal distribution)，为了简化计算，估计
$${\Delta }^{\ast }\approx 0.7\cdot E(\left|\begin{array}{c}W\end{array}\right|)\approx \frac{1}{n}\sum _{i=1}^n\left|\begin{array}{c}{W}_i\end{array}\right|\text{\hspace{1em}(7)}$$
在具体的实现过程中，即先计算出网络的阈值${\Delta }^{\ast }$，利用它根据$(3)$式把网络的权值变为 { − 1 , 0 , 1 } \{-1,0,1\} {−1,0,1}，对于某一层的输入$X$，根据$(2)$式把它乘以$\alpha$得到$\alpha X$作为新的输入，然后进行前向的传播。

Training with stochastic gradient descent method

使用了SGD训练TWNs，三值化的权重在前向传播和反向传播时使用，但是在参数更新时不使用，另外，还使用了Batch Normalization、learning rate scaling、momentum。

Model compression and run time usage

相对于float和double精度的模型，就运行时间而言，该模型可达到16倍或者32倍的压缩倍率。

Experiments

具体可参见论文