架构搜索文献笔记（6）：《超越网络修剪：一种联合搜索和训练的方法》

论文《 Beyond Network Pruning: a Joint Search-and-Training Approach》-2020-IJCAI**
论文链接

论文为机器翻译的，当时只想看个大概，好久以前的笔记

一、摘要及主要贡献

1.1 摘要

网络剪枝被提出作为缓解深度神经网络过度参数化问题的一种方法。然而，它的价值最近受到了挑战，特别是从神经结构搜索的角度来看。

论文提出了一种联合搜索和训练的、直接从零开始学习紧凑的网络的方法，来挑战修剪后训练的传统智慧。通过将剪枝视为一种搜索策略，本文提出了两个新的见解：1)通过将每个过滤器与可学习的权重关联来扩展网络剪枝的搜索空间；2)可以迭代地进行联合搜索和训练，以最大限度地提高学习效率。更具体地说，论文提出了一种协-微调策略来迭代采样和更新紧凑的子网络以近似目标网络。与网络搜索器相关的权重将通过联合搜索和相应更新，以反映NAS空间的学习知识此外，论文还引入了随机扰动策略（受蒙特卡洛的启发）和灵活的阈值设定策略（受强化学习的启发）来调整每一层的权重和大小。

在ResNet网和VGG网上进行的大量实验表明，论文提出的方法在CIFAR10、CIFAR100和图像网等流行数据集上具有优越的性能

1.2 主要贡献

提出了一种有效的学习Compact网络的新算法（参见图1）。

在采样阶段，通过权值计算和阈值计算来寻找一个Compact的网络；在更新阶段，训练后的Compact网络的参数和权值被映射回目标网络。

反复迭代搜索和训练之后，选择最好的紧凑网络并调整它们以收敛。

图1：论文的联合搜索和训练方法的概述。“采样器”从目标网络中搜索紧凑的子网络，而“更新器”则将训练过的子网络映射回目标网络。性能最好的子网络将作为最终输出进行进一步的微调。

二、论文相关

2.1 非结构化剪枝

非结构化的修剪方法在目标函数中加入了稀疏约束，并在训练阶段减少神经元数量，对网络参数应用群稀疏性正则化。由于手工设计，该方法在性能上没有优势。

论文提出了一种有效的神经网络剪枝算法。它可以在几分钟内修剪网络。

2.2 结构化剪枝

结构化修剪经典方法首先训练一个大的目标网络，然后修剪，最后微调紧凑的网络。

论文方法允许在未剪枝的网络中通过联合搜索和训练来直接学习一个紧凑的网络，从而大大提高了效率。

2.3.轻型网络设计

MobileNet通过用深度可分离卷积替换标准卷积来实现网络轻加权，该卷积包含深度卷积和1×1卷积。ShuffleNet架构使用两种操作：PW卷积来帮助降低计算复杂度，和通道混合来实现信息流。

2.4 网络架构搜索

网络架构搜索方法的目标是从超参数化的网络中找到潜在的最优网络结构，有基于进化算法的方法、和强化学习(RL)、基于梯度的方法、One-Shot学习等。

三、论文方法部分

3.1 灵活修剪

图中（a）（b）为固定修剪率，（c）（d）为论文方法，数字表示对应滤波器的权重，保留红色框的数字。在(a)和(b)中，由于固定的修剪速率，会发生不适当的修剪（权重以紫色突出显示）：保留小权重的滤波器，并丢弃大权重的滤波器。在（c）(d)中，通过阈值设定权重，实现自适应地修剪它们。

ThresNet完全由完全连接的层组成，输入为各层卷积层的权重，通过不同的全连接层处理后，输出为各层的修剪阈值。

3.2 采样器：搜索Compact子网络

采样器的具体过程，对于一个l层的网络T。
输入为滤波器的权重al，l层的所有的滤波器Wcl，cl为滤波器通道数。
输出为修剪后的权重pl，子网络的滤波器WFl.

3.3 联合搜索和训练

对于搜索的Compact网络，每个层的输出可以写为：

其中，pl是算法1的输出，而pˆlc表示每个层的归一化权值。通过对网络的每一层进行采样，可以得到一个目标网络T的Compact子网络S。

四、试验部分

Cifar10部分

Cifar100部分

ImageNet部分