神经网络架构搜索

神经网络架构搜索

定义内涵

神经网络架构搜索是为给定数据集自动找到一个或多个架构的任务，这些架构将为给定
的数据集生成具有良好结果的模型，其本质是在高维空间的最优参数搜索问题。

技术背景

深度学习模型的使用越来越大众化，在很多行业中都是不可或缺的。然而，高效神经网
络的实现通常需要架构的知识和大量的时间，在不停的迭代过程中使用知识探索合理的解决
方案。神经网络的形式和结构会根据具体需要而有所不同，所以针对不同的任务和不同需求
需要设定特定的结构。但是以试错的方式设计这些网络是一项耗时且乏味的任务，不仅需要
架构技能还需要专业领域的知识。一般的情况下，专家们会利用他们过去的经验或技术知识
来创建和设计神经网络。
在大部分行业，都会关注模型效率（这里的效率不仅指执行效率，还包括了开发效率）。
为了使神经网络泛化而不过度拟合训练数据集，找到最优的结构是很重要的。但是在生产力
比质量更重要的时代，一些行业忽视了他们模型的效率，并且只满足于实现了他们的目标的
第一个模型（能用就行）而没有进一步
优化模型的性能和效率。寻找合适的网络架构不仅需要大量的时间成本和专业的架构设计技能，而且容易陷入次优解。由于缺乏时间或架构专业
知识，许多行业不具备通过“足够”的模型充分利用其数据的潜力。
神经网络架构搜索（Neural Architecture Search，NAS