Pruning Filters for Efficient ConvNets详解

Pruning Filters for Efficient ConvNets
作者：弓 长 木 公
论文： https://arxiv.org/pdf/1608.08710.pdf
github代码：https://github.com/tyui592/Pruning_filters_for_efficient_convnets

主要思想：

由于CNN通常在不同的 Filter 和特征信道之间具有显着的冗余，论文中通过裁剪 Filter 来减少CNN的计算成本。裁剪方法是计算L1范数，然后裁剪掉较少的，多少取决于加速比。

理论基础：

具体实现

Determining single layer’s sensitivity to pruning

为了弄清楚每层的敏感度，我们对每一层独立剪枝并在验证集上对剪枝后的网络进行评估。Figure 2(b)展示了结果，很明显斜率比较平缓的层对剪枝的敏感度更高，我们根据经验来决定对每一层的卷积核进行剪枝，对于深度网络（如VGG-16或ResNets），我们观察到同一stage（相同尺寸的特征图）对应的层对剪枝的敏感度相似，为了避免引入layer-wise meta-parameters，我们对于同一stage的所有层使用相同的剪枝比例。对于那些敏感度高的层，我们剪枝时比例很小，甚至完全不进行剪枝。

Puring filters across multiple layers

之前的工作是逐层剪枝，然后重复训练来恢复精度。然而，理解如何能一次性对多层进行剪枝是非常有必要的：

1. 对于深度网络，逐层剪枝再训练太耗时；
2. 整体剪枝的方法提供给网络稳健性的一个全面视野，从而导致产生一个更小的网络；
3. 对于复杂的网络，一个整体的方法很有必要，比如对于ResNet，对恒等映射特征图或者每个残差模块的第二个层剪枝会导致额外层的修剪；
   为了对多层同时剪枝，我们考虑了两个策略：
4. 每一层独立剪枝，即在计算（求权重绝对值之和）时不考虑上一层的修剪情况，所以计算时下图中的黄点仍然参与计算；
5. 贪心策略，计算时不计算已经修剪过的，即黄点不参与计算；
   

上图说明了两种方法之间的区别，实验结果证明第二种方法精度会高一点。

残差网络的处理：

residual block 中的第一层的 Filter 可以随便修剪，因为它不改变 block 的输出特征图的数量。
residual block 中的第二层（标记为绿色）的 Filter 的修剪由 shortcut projection 的修剪结果决定，因为要保证输入和输出的尺寸要相同才能相加（ResNet原理）。
因为 identical feature maps 比 added residual maps 更重要，因此要修剪的 feature maps 应该由shortcut layer的修剪结果确定。为了确定要修剪哪些特征图，论文中使用与1 × 1 kernels shortcut convolutional layers 相同的选择标准。
residual block 中第二层修剪的 Filter index 与shortcut layer 所选择的 Filter index 相同。

再训练：

两种策略：
1)修剪一次并重新训练：一次性同时修剪多个层的 Filter 然后重新训练。
2)迭代修剪并重新训练：一层层的修剪或者一个一个 Filter 的修剪然后迭代重新训练。
对于具有修剪弹性的图层，第一种方法可以用于删除网络的重要部分，并且可以通过短时间重新训练来恢复精度（小于原始训练时间）。但是，当敏感层的一些 Filter 被剪掉或大部分网络被剪掉时，可能无法恢复原始精度。这时第二种方法可能会产生更好的结果，但迭代过程需要更多的 epochs，特别是对于非常深的网络。