【知识普及】神经网络架构搜索（Neural Architecture Search，NAS）

1. 背景引入

超参数的自动搜索优化（Hyperparameter optimization，HO）：

• 随机搜索（Random search）
• 网格搜索（Grid search）
• 贝叶斯优化（Bayesian optimization）
• 强化学习（Reinforcement learning）
• 进化算法（Evolutionary Algorithm）

对于深度学习，超参数分为两类：

1. 训练参数（learning rate，batch size，weight decay等）
2. 定义网络结构的参数（基层、算子、卷积大小），维度高，离散，相互依赖。

1的自动调优仍是HO范畴。
2的自动调优一般称为网络架构搜索（Neural Architecture Search， NAS）

2. 网络架构搜索（NAS）

本质上来讲，其与围棋类似，是高维空间的最优参数搜索问题。
缺点：消耗计算资源巨大，不是一般人玩得起的。

NAS套路：

1. 先定义搜索空间
   链式结构—>多叉结构(组合自由度)—>cell/block
2. 通过搜索策略找出候选网络结构，进行评估，根据反馈进行下一轮搜索。
   

2.1 NAS 搜索策略

随机搜索简单但相对低效，通常用作baseline。其中基于强化学习和进化算法的本质：离散空间中搜索，将目标函数看做黑盒。

2.1.1 基于强化学习

开创性工作：

• MIT2016，MetaQNN，将网络架构搜索建模成马尔科夫决策过程：Designing Neural Network Architectures using Reinforcement Learning
• 2016Google，RNN网络作为控制器采样生成描述网络结构的字符串：Neural Architecture Search with Reinforcement Learning

2.1.2 基于进化算法

• Google：Large-Scale Evolution of Image Classifiers</