NAS入门基础---经典综述Neural Architecture Search: A Survey翻译

hello，这是鑫鑫鑫的论文分享站，今天分享的文章是Neural Architecture Search: A Survey(神经网络结构搜索)，这是一篇入门综述，我们一起看看吧~

摘要
目前采用的体系结构大多是由专家手工开发的，这是一个耗时且容易出错的过程。正因为如此，人们对自动神经结构搜索方法越来越感兴趣。我们提供了一个现有的工作在这一领域的研究和分类，根据三个维度：搜索空间，搜索策略，和性能估计策略。

关键词：神经结构搜索，AutoML，AutoDL，搜索空间设计，搜索策略，性能评估策略

1介绍
感知任务中深度学习的成功很大程度上归功于它对特征工程过程的自动化：分层特征抽取器是以端到端的方式从数据中学习的，而不是手动设计的。然而，这一成功伴随着对工程的不断增长的需求，越来越复杂的神经结构是手工设计的**。神经架构搜索（NAS）是架构工程自动化的过程，是机器学习自动化的下一步。**到目前为止，NAS方法在一些任务上已经优于手动设计的架构，例如图像分类（Zoph et al.，2018；Real et al.，2019）、目标检测（Zoph et al.，2018）或语义分割（Chen et al.，2018）。NAS可视为AutoML的子领域（Hutter et al.，2019），与超参数优化（Feurer and Hutter，2019）和元学习（Vanschoren，2019）有显著重叠。
我们根据三个维度对NAS方法进行分类：搜索空间、搜索策略和性能评估策略：

•搜索空间：定义了原则上可以表示哪些体系结构。结合关于非常适合于任务的体系结构的典型属性的先验知识可以减小搜索空间的大小并简化搜索。
•搜索策略：详细说明了如何探索搜索空间（搜索空间通常是指数级的，甚至是无限的）。一方面，希望快速找到性能良好的体系结构，另一方面，应避免过早收敛到次优体系结构区域。
•搜索策略性能评估：NAS的目标通常是找到在看不见的数据上实现高预测性能的体系结构。性能评估是指评估这种性能的过程：最简单的选择是对数据执行标准的体系结构培训和验证，但不幸的是，这在计算上非常昂贵，并且限制了可以研究的体系结构的数量。因此，许多最近的研究集中于开发降低这些性能评估成本的方法。

2搜索空间
搜索空间定义了NAS方法原则上可能发现的神经结构。我们现在讨论最近工作中常见的搜索空间。
一个相对简单的搜索空间是链式结构神经网络的空间，如图2（左）所示。

然后，搜索空间参数化为：（i）层的（最大）数量n（可能是无界的）；（ii）每层执行的操作类型，例如，池、卷积或更高级的操作，如深度可分离卷积（Chollet，2016）或扩展卷积（Yu和Koltun，2016）；以及（iii）与之相关的超参数运算，例如，卷积层的滤波器数量、内核大小和步长（Baker等人，2017a；Suganuma等人，2017；Cai等人，2018a），或完全连接网络的单元数量（Mendoza等人，2016）。注意，（iii）中的参数以（ii）为条件，因此搜索空间的参数化不是固定长度而是条件空间。

关于NAS的最新研究（Brock et al.，2017；Elsken et al.，2017；Zoph et al.，2018；Elsken et al.，2019；Real et al.，2019；Cai et al.，2018b）结合了手工构建的现代设计元素，例如跳过连接，允许构建复杂的多分支网络，如图2（右）所示。在这种情况下，层i的输入可以正式地描述为一个函数（函数）结合先前的层输出。使用这样一个函数可以得到更多的自由度。这些多分支架构的特殊情况是（i）链结构网络（通过设置），（ii）剩余网络（He等人，2016），其中前一层输出求和（1）和（iii）DenseNets
（Huang等人，2017），其中先前的层输出是串联的(受手工制作的由重复图案组成的架构（Szegedy et al.，2016；He et al.，2016；Huang et al.，2017）的推动，Zoph et al.（2018）和Zhong et al.（2018a）提议分别搜索这些图案，即被称为细胞或块，而不是整体体系结构。

优化了两种不同类型的单元：一种是保留输入维度的正常单元，另一种是减少空间维度的缩减单元。最后的架构是通过以预定义的方式堆叠这些单元来构建的，如图3所示。与上面讨论的搜索空间相