深度学习模型压缩加速

1、剪枝

（1）Deep Compression这篇文章（Stanford的Song Han）

如图 1所示，剪枝需要三个步骤，首先是训练一个普通的神经网络；然后我们选择一个阈值，将权重小于阈值的连接剪开，这样就得到一个稀疏连接的网络了(图 2)；剪枝后网络性能肯定会下降一些，所以最后我们对这个稀疏网络进行再训练，将性能提上去。对AlexNet，剪枝可以减少9倍的参数，对VGG-16网络，剪枝能减少13倍参数数量。

（2）Pruning Filters for Efficient Convnets

作者提出了基于量级的裁剪方式，用weight值的大小来评判其重要性，对于一个filter，其中所有weight的绝对值求和，来作为该filter的评价指标，将一层中值低的filter裁掉，可以有效的降低模型的复杂度并且不会给模型的性能带来很大的损失，算法流程如下：