剪枝后 模型加速_对于模型剪枝的一点探讨

 最近工作需要对于原有模型进行优化加速，此前尝试使用MobileNet，但发现Pytorch对其优化不理想，分组卷积并没有真正有效地提高模型效率。又尝试使用

Octave Convolution，作者提到Octave Conv模块可以将特征图分为低频和高频，分别存储信息和特征，认为可以对低频信息减半，最终达到加速卷积运算效果。 贡献：

1. 将卷积特征图分成了两组，一组低频，一组高频，低频特征图的大小会减半，从而可以有效减少存储以及计算量，另外，由于特征图大小减小，卷积核大小不变，感受野就变大了，可以抓取更多的上下文信息；
2. OctConv是一种即插即用的卷积块，可以直接替换传统的conv（也替换分组卷积以及深度可分离卷积等），减小内存和计算量；

当然，作者做了大量实验，使用OctConv可以得到更高性能，甚至可以媲美best Auto ML。

Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution​export.arxiv.org

总的来说，OctConv是占用内存小，速度快，性