【论文阅读笔记】Trained Ternary Quantization

论文发布时间：2016-12
论文地址：https://arxiv.org/pdf/1612.01064.pdf

全文概括

  TTQ只量化权重，该方法将权重量化成三元，即2-bit。
  与其他方法不同的是，该方法的尺度因子更具有“包容性”，不是某层权重元素绝对值的均值${\alpha }_l=\sum \frac{|w|}{coun{t}_l}$，而是将正负尺度因子设定为参数(正负尺度都大于零)，通过反向传播学习获得。即从 { − α , 0 , α } ⟶ { − W l n , 0 , W l p } \{ -\alpha,0,\alpha\}\longrightarrow\{-W_l^n,0,W_l^p\} {−α,0,α}⟶{−Wln​,0,Wlp​}。

  提出了启发性的稀疏化思想：将最大值的 $t$ 倍( $t\in (0,1)$ )作为判断稀疏的阈值，即$w_q=0;if{w}_r\le |t{w}_{max}|$。$t$是超参数。

  提出了新的训练结构，其每层的两个尺度因子，直接通过网络模型反向传播学习，而不是通过学习网络参数后统计得到。即反向传播有两条路劲，一条指向全精度权重以学习参数分布，一条指向尺度因子以学习量化“边界”。

  得到一个结论：第一个卷积层量化后，两个尺度因子变小，稀疏性更低；而最后一个卷积层和全连接层量化后，两个尺度因子变大，稀疏性更高。（个人猜测，第一层是因为要传播信息，所以分布比较紧凑；最后一层是因为要进行分类，所以大值与小值差距较大）

  对尺度因子进行训练的好处在于，正负尺度因子的不对称使得模型能力更强，且针对所有层有一个常数稀疏r，调整超参数r可以调整量化阈值，能够获得不同稀疏度的三值网络。

---

简介

  原来的三元权重网络， { − 1 , 0 , 1 } \{-1,0,1\} {−1,0,1}， { − E , 0 , E } \{-E,0,E\} {−E,0,E}都不是通过学习得到的，而是粗精度地取符号。在本文的三元权重网络，每层有两个参数，得到的网络权重为 { − W l n , 0 , W l p } \{-W_l^n,0,W_l^p\} {−Wln​,0,Wlp​}。

相关网络
Binary Neural Network(BNN)
  该方法使用类似概率的方法将 32-bit 的权重转成 二值/三值 权重：$$w^b\sim Bernoulli(\frac{\hat{w}+1}{2})\ast 2-1$$$$w^t\sim Bernoulli(|\hat{w}|)\ast sign(|\hat{w}|)$$  其中，$\hat{w}$表示全精度权重。

DoREFA-Net
$$w^b=E(|\hat{w}|)\ast sign(\hat{w})$$  其中，$E(|\hat{w}|)$表示权重绝对值的平均值。

Ternary Weight Networks(TWN)
$$w_l^t=\{\begin{array}{ll}{W}_l& \widehat{w_l}>{\Delta }_l\\ 0& |\widehat{w_l}|\le {\Delta }_l\\ -W_l& {\hat{w}}_l<-{\Delta }_l\end{array}$$
$${\Delta }_l=0.7\ast E(|\widehat{w_l}|)$$ W l = E i ∈ { i ∣ w l ^ &gt; Δ } ( ∣ w l ( i ) ^ ∣ ) W_l=\mathop{E}\limits_{i\in\{i|\hat{w_l}&gt;\Delta\}}(|\hat{w_l(i)}|) Wl​=i∈{i∣wl​^​>Δ}E​(∣wl​(i)^​∣)

---

方法介绍

  在前向传播时，权重量化如下：$$w_l^t=\{\begin{array}{ll}{W}_l^p& \widehat{w_l}>{\Delta }_l\\ 0& |\widehat{w_l}|\le {\Delta }_l\\ -W_l^n& {\hat{w}}_l<-{\Delta }_l\end{array}$$
  求导如下：$$\frac{\partial L}{\partial W_l^p}=\sum _{i\in I_l^p}\frac{\partial L}{\partial w_l^t(i)}，\frac{\partial L}{\partial W_l^n}=\sum _{i\in I_l^n}\frac{\partial L}{\partial w_l^t(i)}$$  其中， I l p = { i ∣ w l ^ ( i ) &gt; Δ l } I_l^p=\{i|\hat{w_l}(i)&gt;\Delta_l\} Ilp​={i∣wl​^​(i)>Δl​}， I l n = { i ∣ w l ^ ( i ) &lt; Δ l } I_l^n=\{i|\hat{w_l}(i)&lt;\Delta_l\} Iln​={i∣wl​^​(i)<Δl​}

  全精度权重的求导如下：$$\frac{\partial L}{\partial \widehat{w_l}}=\{\begin{array}{ll}{W}_l^p\ast \frac{\partial L}{\partial w_l^t}& {\hat{w}}_l>{\Delta }_l\\ 1\ast \frac{\partial L}{\partial w_l^t}& |\widehat{w_l}|\le {\Delta }_l\\ W_l^n\ast \frac{\partial L}{\partial w_l^t}& {\hat{w}}_l<-{\Delta }_l\end{array}$$

  阈值：$${\Delta }_l=t\ast \max (|\hat{w}|)$$  在 CIFAR-10数据集中， t 设为 $0.05$。

---

实验

CIFAR-10

  初始学习率设为$0.1$，在80、120、300个周期时乘以$0.1$；L₂正则化权重衰减设为$0.0002$。一般$160$个周期就能收敛。

ImageNet

  batch_size设为128；初始学习率设为10^-4，每56个周期乘以0.2；L₂权重衰减设为5*10^-6；大概在64个周期时，就比其他 low-bit 网络要好了。