IJCAI2018 | SFP软剪枝通道裁剪算法

论文：Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
论文：Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks
论文链接：https://arxiv.org/pdf/1808.06866.pdf
论文链接：https://arxiv.org/pdf/1808.07471.pdf
代码链接：https://github.com/he-y/soft-filter-pruning

1.硬剪枝 and 软剪枝

Hard Filter Pruning(HFP)：硬滤波器裁减方法，Soft Filter Pruning (SFP)：软滤波器裁减方法。如下图所示，所谓硬剪枝滤波器方法即每次进行滤波器裁减操作时会直接将需要裁减的滤波器移除网络之外。而软滤波器剪枝方法在每次进行滤波器裁减操作时仅仅将需要被裁减的滤波器参数置零，且该滤波器并不会被移除网络之外，还会以完整的网络形态继续下一个epoch的训练，这种方式使得利用软剪枝法的网络的学习能力更加强大。如下图二所示，在裁剪比例相同的情况下，软剪枝方法裁剪的适应性更强，也更加灵活，使得网络尽可能的不降低性能。

更加具体来说，本文提出的SFP和HFP的不同点在于裁减掉的滤波器依然参与下一次迭代更新，SFP在每个epoch结束后会进行剪枝操作，剪枝完成后就会再训一个epoch，然后继续剪枝。之所以要采用SFP，很重要的