ICCV2019 | 港科大、清华与旷视提出基于元学习的自动化神经网络通道剪枝网络

MetaPruning：Meta Learning for Automatic Neural Network Channel Pruning

论文作者：Zechun Liu ， Haoyuan Mu ，Xiangyu Zhang ，Zichao Guo ，Xin Yang ，Tim Kwang-Ting  Cheng ， Jian Sun（香港科技大学，清华大学，旷视科技等）

论文地址：https://arxiv.org/pdf/1903.10258.pdf

开源地址：https://github.com/liuzechun/MetaPruning

前言

本文将对ICCV2019会议论文《MetaPruning：Meta Learning for Automatic Neural Network Channel Pruning》进行解读，这篇论文在神经网络压缩领域的通道剪枝方面有所创新。作者基于元学习（meta learning）方法，首先训练了一个PruningNet网络，可为给定目标网络的任何裁剪结构生成权重系数，然后采用进化过程通过不同约束条件来搜索性能好的剪枝网络，并且由于权重由PruningNet生成，不需要在搜索过程中进行任何微调。与当前最新的剪枝算法比较，作者所采用的算法在MobileNet V1 / V2和ResNet上有非常好的表现。

相关工作

通道剪枝（Channel Pruning）

通道剪枝是一种有效的神经网络压缩/加速方法，在业界已广泛使用剪枝方法包括三个阶段：训练大型的超参数化网络，修剪不太重要的权重或通道，微调或重新训练修剪的网络。其中，第二阶段是关键，实现逐层的迭代修剪和快速微调或权重重构，以保持精度【Jose M Alvarez and Mathieu Salzmann. Learning the number of neurons in deep networks. In Advances in Neural Information Processing Systems， pages 2270-2278， 2016】。

在权重修剪时， Han等修剪单个权重以压缩模型尺寸【Song Han， Huizi Mao， and William J Dally. Deep compression：Compressing deep neural networks with pruning】。但是，权重修剪会导致非结构化的稀疏滤波器，通用硬件几乎无法加速这种结构。近年来，Hu和Li等聚焦于CNN中的通道修剪，而不是单个权重，该方法删除了整个权重过滤器【Hengyuan Hu， Rui Peng， Yu-Wing Tai， and Chi-Keung Tang. Network trimming：A data-driven neuron pruning approach towards efficient deep architectures. arXiv preprint arXiv：1607.03250， 2016】。

传统的通道剪枝方法主要依靠数据驱动的稀疏度约束【Zehao Huang and Naiyan Wang. Data-driven sparse structure selection for deep neural networks. In Proceedings of the European Conference on Computer Vision （ECCV）， pages 304-320， 2018】或人为设计的策略【Yihui He， Xiangyu Zhang， and Jian Sun. Channel pruning for accelerating very deep neural networks. In Proceedings of the IEEE International Conference on Computer Vision， pages 1389-1397， 2017】。在大多数传统的通道剪枝中，需要人为设置每一层的压缩率，比较耗时，且容易陷入次优解。

AutoML（Automated Machine Learning）

AutoML方法基于反馈循环【Jiahui Yu， Linjie Yang， Ning Xu， Jianchao Yang， and Thomas