进化神经结构搜索综述

深度神经网络作为深度学习的基石，已在许多实际应用中获得成功，如图像分类，自然语言处理，语音识别等。网络可以直接从数据中提取特征，没有了原来复杂耗时的特征工程 。通常网络的性能取决于两方面：网络结构与权重。一方面，网络的权重可以学习得到。通过构建连续的损失函数，使用梯度算法最小化损失函数，当满足终止条件时，得到最优的权重。另一方面，对于获得最优结构，无法直接使用连续公式表示，并且也没有明确的函数衡量寻找最优结构的过程。目前表现最好的模型基本为人工设计的网络，这些网络模型需要拥有丰富的神经网络和图像处理知识的研究人员设计。实际上，大多数用户不满足这样的条件，神经结构搜索（neural architecture search，NAS）旨在自动化设计深度神经网络。数学上，NAS可以表示成由公式（1）表示的优化问题：

其中 表示神经网络结构的搜索空间， 在训练集