模型剪枝-ICCV2017-ThiNet: A Filter Level Pruning Method

Thinet核心思路

Filters Pruning在卷积核的层面进行剪枝,上述思路filter的修剪取决于当前层，Thinet则选择使用下一层的输出进行卷积核的修剪依据。思想就是如果某层输入数据中的一部分就可以得到与全部输入非常近似的结果，那么就可以将输入数据中其他部分去掉，同时其对应的前面层的filter也就可以去掉。

首先，根据图中的虚线框部分来判断哪些通道及其相对应的filter的性能较弱。这些通道（及其对应的filter）对网络的性能影响较小，因此可被丢弃，从而得到一个剪枝的模型。最后剪枝后的模型通过微调以恢复其精度。

算法步骤

如图所示，由y表示的元素从张量(ReLU之前)中进行随机采样。
1.filter选择。
使用layer(i + 1)的输入中的一个通道子集来逼近layer(i + 1)中的输出，则其他通道可以安全地从layer(i + 1)的输入中移除。layer(i + 1)的输入中的一个通道由第i层中的一个filter产生，因此可以同时修剪第i层中的相应filter。
2.修剪。
3.微调。
4.重复步骤1修剪下一层。
对于通道子集的选择方法这里使用贪心算法

在决定保留哪几个滤波器之后，我们可以通过对每一个通道赋予权重来进一步地减小重构误差。
1)对于VGG-16网络，由于前面10层卷积占据了90%的计算量，而全连接层又占据了86%的参数，因此作者采用对前面10层卷积层进行prune，达到加速目的，另外将所有全连接层用一个global average pooling层代替。
2)对于ResNet网络，作者采用只对一个block的前两层卷积做prune，而不动最后一个卷积层，如下图。