[京哥读论文]之XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

Abstract

本文是一篇经典的二值化weight和activations的文章，发表在ECCV2016.本文提出了两种有效二值化的框架：$XNOR-Net$以及$BWN$(Binary-Weight-Networks).在存储方面可以节省32倍的memory。在$XNOR-Net$上weights以及卷积层的input都是二值化的。在Imagenet数据集上用Alexnet做实验得到和全精度一样的accuracy。code地址: http://allenai.org/plato/xnornet.

Binary Convolutional Neural Network

设定一个三元组$<I,W,\ast >$作为一个$L$层的CNN框架，$I=I_{l(l=1,...,L)}$是CNN第$l$层的输入，$W=W_{lk(k=1,...,K^l)}$是CNN第$l$层第$k$个滤波器的权重，$K^l$是第$l$层滤波器的数量，$\ast$代表$I$和$W$的卷积操作，这里原文假设卷积核没有bias。$I\in {\mathbb{R}}^{c\times w_{in}\times h_{in}}$, $W\in {\mathbb{R}}^{c\times w\times h}$, $w\le w_{in}$,$h\le h_{in}$.本文提出的两种架构一一介绍。

1.Binary-Weight-Networks(BWN)

本文直接给出了真实值$W$与目标二值化的 B ∈ { + 1 , − 1 } c × w × h B\in \{+1,-1\}^{c\times w\times h} B∈{+1,−1}c×w×h之间的关系，用一个scaling factor $\alpha \in {\mathbb{R}}^{+}$来联系两个weight。$W\approx \alpha B$，一个卷积操作就可以近似为
$$I\ast W\approx (I\oplus B)\alpha (1)$$
$\oplus$代表不带任何乘法的卷积操作。由于weight是二值化的，所以可以实现一个卷积操作转化为加法和减法。用$<I,B.A,\oplus >$代表二值化weight的CNN，$B=B_{lk}$是一个二值化的filter，$\alpha =A_{lk}$，$W_{lk}\approx A_{lk}{B}_{lk}$.

Estimating binary weights

为了让loss不失一般性，假设$W,B\in {\mathbb{R}}^n,n=c\times w\times h$都是矢量.对于$W\approx \alpha B$，为了找到最优解，本文提出以下优化目标函数：
$$J(B,\alpha )=\Vert W-\alpha B{\Vert }^2$$
$${\alpha }^{\ast },B^{\ast }=arg\underset{\alpha ,B}{\min }J(B,\alpha )(2)$$
展开公式(2)：
$$J(B,\alpha )={\alpha }^2{B}^{T}B-2\alpha W^{T}B+W^{T}W(3)$$
B ∈ { + 1 , − 1 } n , B T B = n B\in \{+1,-1\}^n,B^TB=n B∈{+1,−1}n,BTB=n是一个常数。$W^{T}W$也是一个常数由于$W$是一个已经得变量，设定$c=W^{T}W$,这样公式(3)就变为:
$$J(B,\alpha )={\alpha }^{2}n-2\alpha W^{T}B+c$$.
这样求**$B$的最优解**就变为以下的约束公式:
B ∗ = a r g max ⁡ B { W T B } , s . t . B ∈ { + 1 , − 1 } n ( 4 ) B^*=arg\max\limits_B\{W^TB\}, \quad s.t.\quad B\in\{+1,-1\}^n \quad (4) B∗=argBmax​{WTB},s.t.B∈{+1,−1}n(4)
这个最优解就是:$B_i=+1if{W}_i\ge 0$以及$B_i=-1if{W}_i<0$.因此最优解就是:$B^{\ast }=sign(W)$.为了找到${\alpha }^{\ast }$的最优解，可以求$J$对$\alpha$的导数并置0得:
$${\alpha }^{\ast }=\frac{W^T{B}^{\ast }}{n}(5)$$
带入$B^{\ast }=sign(W)$得：$${\alpha }^{\ast }=\frac{W^{T}sign(W)}{n}=\frac{\sum |W_i|}{n}=\frac{1}{n}\Vert W{\Vert }_{l1}(6)$$

Training Binary-Weights-Networks

训练CNN的每一次迭代包含三个步骤:forward pass, backward pass and parameters update.这里要注意一点:在训练二值化weight(在卷积层)的时候，只在forward pass和backward propagation的时候二值化weight。对$sign(r)$,求导公式为$\frac{\partial sign}{\partial r}=r{1}_{|r|\le 1}$.weight的导数就是:$\frac{\partial C}{\partial W_i}=\frac{\partial C}{\partial {\tilde{W}}_i}(\frac{1}{n}+\frac{\partial sign}{\partial W_i}\alpha )$.对于update parameters来说，用全精度的weights，因为在梯度下降时，参数改变的很小，在更新完参数时，二值化可以忽略这些改变。
算法1展示了训练二值化weight的步骤：

首先:对于每一层先计算出B和A，然后使用二值化的weight进行前向，然后在进行反向，最后更新参数。

XNOR-Network

在BWN里面，用A和B来近似表示真实值，但是卷积层的输入仍然是真实值的。

1.Binary Dot Product

近似$X\in {\mathbb{R}}^n$和$W\in {\mathbb{R}}^n$的点乘：$X^{T}W\approx \beta H^T\alpha B$, H , B ∈ { + 1 , − 1 } n H,B \in \{+1, -1\}^n H,B∈{+1,−1}n, $\alpha ,\beta \in {\mathbb{R}}^{+}$, 优化以下目标函数：
$${\alpha }^{\ast },B^{\ast },{\beta }^{\ast },H^{\ast }=arg\underset{\alpha ,B,\beta ,H}{\min }\Vert X\odot W-\beta \alpha H\odot B\Vert (7)$$
$\odot$代表element-wise乘(对应元素相乘)。
设定$Y\in {\mathbb{R}}^n$, Y i = X i W i , C ∈ { + 1 , − 1 } n Y_i=X_iW_i, C\in\{+1,-1\}^n Yi​=Xi​Wi​,C∈{+1,−1}n, $C_i=H_i{B}_i,\gamma =\beta \alpha$.公式(7)可以重写为:
$${\gamma }^{\ast },C^{\ast }=arg\underset{\gamma ,C}{\min }\Vert Y-\gamma C\Vert (8)$$
根据公式(2),我们可以得到最优解:
$$C^{\ast }=sign(Y)=sign(X)\odot sign(W)=H^{\ast }\odot B^{\ast }(9)$$
由于$|X_i|$和$|W_i|$是独立的，$Y_i=X_i{W}_i$，所以$E[|Y_i|]=E[|X_i||W_i|]=E[|X_i|]E[|W_i|]$,因此
$${\gamma }^{\ast }=\frac{\sum |Y_i|}{n}=\frac{|X_i||W_i|}{n}\approx (\frac{1}{n}\Vert X{\Vert }_{l1})(\frac{1}{n}\Vert W{\Vert }_{l1})={\beta }^{\ast }{\alpha }^{\ast }(10)$$

2.Binary Convolution

输入$I\in {\mathbb{R}}^{c\times w_{in}\times h_{in}}$在图二中有两个sub-tensors$X_1$和$X_2$。由于sub-tensors之间有很多重叠，导致有很多冗余的计算。为了克服这个冗余，首先计算出输入$I$在channel的均方和，$A=\frac{\sum |I_{:,:,i}|}{c}$, 将$A$和一个2D的卷积核$k\in {\mathbb{R}}^{w\times h},K=A\ast k，k_{ij}=\frac{1}{w\times h},\forall ij$。$K_{ij}$对应位置$ij$处的$\beta$， 一旦得到$\alpha$和$\beta$：
$$I\ast W\approx (sign(I)⊛sign(W))\odot K\alpha (11)$$
$⊛$表示一个卷积操作使用XNOR和bitcount操作。

3.Training XNOR-Networks

Fig.3 左图展示了典型的block，右图展示了XNOR-Net的block，binary activation layer(BinActiv)作用是计算出$K$和$sign(I)$, BinConv层中，给定$K$和$sign(I)$,根据公式(11),计算二值化的卷积。训练算法跟算法1一样。

4.Binary Gradient

Experiments