66.神经网络架构搜索（NAS）

• 2015至2017年间，是CNN网络设计最兴盛的阶段，大多都是由学者人工设计的网络结构。这个过程通常会很繁琐

  • 其主要原因在于对不同模块组件的组成通常是个黑盒优化的问题，此外，在不同结构超参数以及训练超参数的选择优化上非凸优化问题，或者是个混合优化问题，既有离散空间又有连续空间

• NAS（Neural Architecture Search）的出现就是为了解决如何通过机器策略和自动化的方式设计出优秀高效的网络

  • 而这种策略通常不是统一的标准，不同的网络结合实际的需求通常会有不同的设计，比如移动端的模型会在效率和精度之间做平衡

• 目前，NAS也是AUTOML中最重要的部分。NAS通常会分为三个方面

  • 搜索空间（在哪搜索）
  • 搜索策略（如何搜索）
  • 评价预估

• 搜索空间，即在哪搜索，定义了优化问题所需变量

  • 不同规模的搜索空间的变量其对于的难度也是不一样的。早期由于网络结构以及层数相对比较简单，参数量较少，因此会更多的使用遗传算法等进化算法对网络的超参数和权重进行优化
  • 深度学习发展到目前，模型网络结构越来越复杂，参数量级越来越庞大，这些进化算法已经无法继续使用
  • 但若我们先验给定一些网络结构和超参数，模型的性能已经被限制在给定的空间，此时搜索的空间已变得有限，所以只需对复杂模型的架构参数和对应的超参数进行优化即可。

• 搜索策略， 即如何搜索，定义了如何快速、准确找到最优的网络结构参数配置的策略

  • 常见的搜索方