神经网络架构搜索（Neural Architecture Search）_神经网络结构搜索概念知网-CSDN博客

本文链接：https://blog.csdn.net/u010743448/article/details/103500163

一、背景

机器学习从业者被戏称为“调参工”已经不是一天两天了。我们知道，机器学习算法的效果好坏不仅取决于参数，而且很大程度上取决于各种超参数。有些paper的结果很难重现原因之一就是获得最优超参值往往需要花很大的力气。超参数的自动搜索优化是一个古老的话题了。深度学习兴起前它主要针对传统机器学习算法中的模型超参数，比较经典的方法有随机搜索（Random search）, 网格搜索（Grid search），贝叶斯优化（Bayesian optimization），强化学习（Reinforcement learning）, 进化算法（Evolutionary Algorithm）等，统称为Hyperparameter optimization（HO）。像Auto-sklearn和Auto-WEKA都是比较有名的HO框架。对于深度学习说，超参数主要可为两类：一类是训练参数（如learning rate，batch size，weight decay等）；另一类是定义网络结构的参数（比如有几层，每层是啥算子，卷积中的filter size等），它具有维度高，离散且相互依赖等特点。前者的自动调优仍是HO的范畴，而后者的自动调优一般称为网络架构搜索（Neural Architecture Search，NAS）。这些年来大热的深度神经网络，虽然将以前很另人头疼的特征提取自动化了，但网络结构的设计很大程度上还是需要人肉，且依赖经验。每年各AI顶会上一大批论文就是在提出各种新的更优的网络子结构。一个自然的诉求就是这个工作能否交给机器来做。

本质上网络架构搜索，和围棋类似，是个高维空间的最优参数搜索问题。既然围棋上AlphaGo可以战胜人类，那在网络架构搜索上机器最后也很有可能可以取代人类。我们知道，AlphaGo主要是基于强化学习。2016年，MIT和Google的学者们差不多在同一时间发表论文，将强化学习引入到深度神经网络结构的搜索中，取得了不俗的成果。在几个小型的经典数据集上击败同时代同级别的手工设计网络。但这个方法有个缺点是消耗计算资源巨大，基本就不是一般人玩得起的。这个坑也是后面一大波工作改进的重点。尔后，Google发布AutoML平台，将之带入公众视野。现在这块领域无论是在学界还是在工业界，都成为香饽饽的热点。本文主要杂聊NAS中的搜索策略，加速方法，以及变体与扩展。涉及点及举例如图所示。
在这里插入图片描述

NAS的套路大多是这样的：先定义搜索空间，然后通过搜索策略找出候选网络结构，对它们进行评估，根据反馈进行下一轮的搜索。

首先定义搜索空间。搜索空间定义基本是和DNN的发展相应。可以看到，早期的CNN大都是链式结构，因此初期的NAS工作中搜索空间也主要考虑该结构，只需考虑共几层，每层分别是什么类型，以及该类型对应的超参数。再后面，随着像ResNet，DenseNet，Skip connection这样的多叉结构的出现，NAS中也开始考虑多叉结构，这样就增大了组合的自由度可以组合出更多样的结构。另外，很多DNN结构开始包含重复的子结构（如Inception，DenseNet，ResNet等），称为cell或block。于是NAS也开始考虑这样的结构，提出基于cell的搜索。即只对cell结构进行结构搜索，总体网络对这些cell进行重叠拼接而成。当然如何拼接本身也可以通过NAS来学习。这样相当于减少自由度来达到减少搜索空间的目的，同样也可以使搜索到的结构具有更好的数据集间迁移能力。为了让搜索模型可以处理网络结构，需要对其编码。搜索空间中的网络架构可以表示为描述结构的字符串或向量。