剪枝系列3：Accelerate CNN via Recursive Bayesian Pruning

Accelerate CNN via Recursive Bayesian Pruning

用概率方法来剪枝，对层间的噪声用马科夫链建模，考虑了层与层之间的联系。数据驱动。

论文方法

$x$和$y$分别代表数据和标签。$x^l$代表第$l$层的输入，$W^l$代表第$l$层的参数，$g(\ast )$代表激活函数。则
$$x^{l+1}=W^l\ast g(x^l)$$
对剪枝建模，把剪枝看成是dropout noise $\theta$ 乘以每一个channel.
$$\begin{gathered} x^{l+1}=W^l\ast (g(x^l).\ast {\theta }^l) \\ {\theta }_c^l{\sim }_q\mathcal{N}(1-r_c^l,r_c^l(1-r_c^l)) \end{gathered}$$
$r$是dropout rate。这样的话，对于冗余通道，dropout rate接近1，他们会被剪掉因为他们的noise scaling接近0

记p是sparsity-inducing prior，q是estimator。
$$q({\theta }^l)={\int }_{}^{}p({\theta }^l|{\theta }^{l-1})q({\theta }^{l-1})d{\theta }^{l-1}$$
如果${\theta }^{l-1}$接近Dirac distribution，则
$$q({\theta }^l)\approx {\int }_{}^{}p({\theta }^l|{\theta }^{l-1})\delta ({\theta }^{l-1})d{\theta }^{l-1}=p({\theta }^l|{\theta }^{l-1}=E[{\theta }^{l-1}])$$
这个近似成立，当高斯噪声${\theta }^{l-1}$有接近0或1的dropout rate。这是直观的，因为对于一个高度紧凑的模型，重要的通道的dropout rate $r\approx 0$而对于要被剪掉的通道，$r\approx 1$。我们简单选取$\mathcal{N}(0,{ϵ}^2)$作为p，其中$ϵ$非常小。那么KL-divergence 等于
$$D_{KL}(q({\theta }^l)||p({\theta }^l))=\sum _{c=1}^C{D}_{KL}(q({\theta }_c^l)||p({\theta }_c^l))=\sum _{c=1}^C-\frac{1}{2}log\frac{r_c^l(1-r_c^l)}{{ϵ}^2}+\frac{1-r_c^l}{2{ϵ}^2}-\frac{1}{2}$$
表示网络对数据的契合程度。我们把dropout noise ${\theta }_c^l$采样为：
$${\theta }_c^l=1-r_c^l+\sqrt{r_c^l(1-r_c^l)}\cdot \mathcal{N}(0,1)$$
对于第$l$层，我们要最大化的目标函数是
$$\begin{gathered} \mathcal{L}={\mathcal{L}}_D-D_{KL}(q({\theta }^l)||p({\theta }^l)) \\ {\mathcal{L}}_D=\frac{|D|}{|B|}\sum _{(x,y)\in B}logP(y|x,W,r^l) \end{gathered}$$
$B$是batch的意思，代表一批数据。收敛后，$r^l$接近0或1，${\theta }^l$大概服从Dirac分布。

这个性质导致$q({\theta }^l)\approx p({\theta }^l|{\theta }^{l-1}=E[{\theta }^{l-1}])$。我们可以把${\theta }^l$固定为其期望，然后对${\theta }^{l+1}$进行Baysian inference。进一步，$E[{\theta }^l]=1-r^l$已经接近0或1，我们可以让$r_c^{l}s$为1。
$$\begin{gathered} r_c^l\leftarrow 1,if{r}_c^l>T \\ {W}_c^l\leftarrow W_c^l\odot (1-r_c^l) \end{gathered}$$
T是阈值。注意${\theta }^l$可以被忽略掉了。

注意1,8,9,11对应（1）（6）（7）第一行（8）

实验结果

略