胡诌八侃论文：Network Pruning via Transformable Architecture Search

通过可转换架构搜索进行网络修剪

 

背景

深度卷积神经网络（CNN）变得越来越广泛，以在不同的应用程序上实现高性能。尽管它们取得了巨大的成功，但将它们部署到资源受限的设备（如移动设备和无人机）上是不切实际的。解决此问题的直接解决方案是使用网络修剪减少过度参数化的CNN的计算成本。如图1（a）所示，用于网络修剪的典型管道是通过删除冗余过滤器，然后基于原始网络微调斜线网络来实现的。应用了滤波器重要性的不同标准，例如滤波器的L2范数，重构误差和可学习的缩放因子。最后，研究人员对修剪后的网络应用了各种微调策略，以有效地传递未修剪后的网络的参数并最大化修剪后的网络的性能。

传统的网络修剪方法在保持准确性的同时，对网络压缩产生了有效的影响。他们的网络结构是直观设计的，例如，在每一层中修剪30％的滤波器[30、18]，预测稀疏率[15]或利用正则化[2]。修剪后的网络的精度受手工制作的结构或结构规则的限制。为了克服这一限制，我们应用神经体系结构搜索（NAS）将体系结构的设计转变为学习过程，并提出了一种新的网络修剪范式，如图1（b）所示。