MetaPruning: 基于元学习的自动化神经网络通道剪枝

本文出自论文MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning，提出来一个最新的元学习方法，对非常深的神经网络进行自动化通道剪枝。

本文提出来一个最新的元学习方法，对非常深的神经网络进行自动化通道剪枝。首先训练出一个PruningNet，对于给定目标网络的任何剪枝结构都可以生成权重参数。我们使用一个简单的随机结构采样方法来训练PruningNet，然后应用一个进化过程来搜索性能好的剪枝网络。这个搜索方法是非常高效的，因为权重直接通过训练好的PruningNet生成，并不需要在搜索时间中进行任何的微调。只需要为目标网络训练处一个简单的PruningNet，我们可以在不同的人工约束下搜索不同的剪枝网络。与当前最先进的剪枝方式相比，MetaPruning在MobileNet V1/V2和ResNet上有着最好的性能表现。

---

---

一、简介

1. 通道剪枝作为一种神经网络的压缩方法被广泛的实现和应用，它通常包含三个阶段：训练一个大的超参数化网络，修剪次重要的权重或者通道，最后通过微调或者重训练剪枝网络来获得最终的剪枝网络。第二个阶段通常执行迭代式的逐层剪枝，然后快速微调或者权重重建来重获得精度。AutoML中利用自动寻找最优结构的特点，基于一个反馈循环或者强化学习，脱离了人工设计的局限并弥补了剪枝算法依赖数据的不足。
2. 最近的研究表明通道剪枝的本质是找到好的剪枝结构-逐层的通道数量。由于迭代式寻找最优结构的计算代价很高，因此提出来训练PruningNet，来对于所有候选的剪枝网络架构，可以生成权重参数，这样我们能通过在验证数据集上评估其精度来搜索到性能好的架构。为了训练PruningNet，我们使用一个随机结构采样方法，使用相应的网络编码向量来生成剪枝网络的权重，即每一层的通道数量。通过随机输入不同的网络编码向量，PruningNet逐步学习生成不同剪枝结构的权重参数。在训练过程结束后，我们通过一个进化搜索方法来搜索到性能好的剪枝网络，可以灵活地结合到不同的约束例如计算浮点数或者硬件延迟。另外，通过决定每一层或每个阶段的通道，可以直接搜索到最好的剪枝网络，因此可以在shortcut结构中修剪通道。这种神经网络压缩方法被称作MetaPruning。
3. MetaPruning的两个阶段：(1)训练一个PruningNet：在每次迭代过程中，一个网络编码向量(每层的通道数量)被随机生成，剪枝网络也相应地被构建出来，PruningNet将网络编码向量作为输入，来生成剪枝网络的权重参数；(2)搜索最佳剪枝网络：通过不同的网络编码向量构建了许多剪枝网络，并利用剪枝网络预测的权重对验证集的优劣进行了评估，在搜索时间内无微调或重训练过程。
   
4. 将此方法应用于MobieNets和ResNet上，在相同的浮点数下，我们的精度比MobileNet V1高2.2%到6.6%，比MobileNet V2高0.7%到3.7%，比ResNet-50高0.6%到1.4%。在相同的延迟下，比MobileNet V1高2.1%到9.0%，比MobileNet V2高1.2%到9.9%。
5. 本文的主要贡献点：(1)提出一个元学习方法MetaPruning来用于通道剪枝，其中心思想是学习一个元网络来生成不同剪枝结构的权重参数；(2)节省了超参数调优中的人力过程，允许使用所需要的度量标准来直接优化；(3)可以很容易地在搜索所需结构时实施约束，而不需要手动调整强化学习的参数；(4)可以不费力地修剪像ResNet结构这样的short-cuts的通道。

二、相关工作

1. Pruning：网络剪枝对于深度网络的冗余度去除是一个普遍的方法。在权重修剪过程中，通常会剪去单个权重来压缩模型大小，但同时会导致非结构化的稀疏过滤器。传统的通道剪枝方法是根据每个通道的重要程度，以迭代方式修剪通道，或者添加一个数据驱动的稀疏度。
2. AutoML：该方法将多设备上的实时推理延迟考虑在内，通过强化学习或者一个自动化的反馈循环在一个网络的不同层上迭代式修剪通道。与先前的AutoML剪枝方法相比，MetaPruning方法在精度满足约束条件方面具有较高的灵活性，并具有对short-cut中的通道进行修剪的能力。
3. Meta Learning：它指代着学习观察不同的机器学习方法如何在不同的学习任务上执行。在本文中我们使用meta learning来进行权重预测，权重预测表示一个神经网络的权重被另一个神经网络所预测，而不是直接学习得到。
4. Neural Architecture Search：使用强化学习、遗传算法或者基于梯度的方法找到最优的网络结构和超参数。通过与drop-path联合训练多项选择，它可以在训练过的网络中搜索到最高精度的路径。调整通道宽度也包含在一些神经架构搜索方法中。我们所提出的针对通道剪枝的MetaPruning方法能够通过训练PruningNet进行权重预测来解决这一连续的通道剪枝挑战问题。

三、方法

1. 我们将通道剪枝问题用公式表示为： ( c 1 , c 2 , . . . c l ) ∗ = arg ⁡ min ⁡ c 1 , c 2 , . . . c l L ( A ( c 1 , c 2 , . . . c l ; w