2-17-神经网络架构搜索

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210202&flag=1

神经网络结构搜索(neural architecture search)主要由搜索空间，搜索策略与性能评估3部分组成。

在搜索空间设计上，出于计算量的考虑，通常不会搜索整个网络结构，而是先将网络分成几块，然后搜索块中的结构。根据实际情况的不同，可以共享不同块中的结构，也可以对每个块单独搜索不同的结构。

以对每个块单独搜索不同的结构。在搜索策略上，主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。

在性能评估上，为了节省计算时间，通常不会将每一个网络都充分训练到收敛，而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。

搜索策略从搜索空间 A 中选取某个 神经网络结构 a,然后用性能估计策略来估计该网 络结构的泛化性能,最后将估计的泛化性能反馈给 搜索策略,进一步改进搜索策略。

性能的提升主要是由于深度神经网络能够提取很高 层次的特征,从而得到对输入数据更加有效的表示。GPU 算力的提升使得神经网络的层数进 一步增加,表征能力进一步增强。

神经网络结构搜索类似 于机器学习中的超参数优化(hyperparameter optimization),超参数优化在机器学习领域是一个很重要 的研究主题。

神经网络结构搜索的目标是从定义的搜索空间 内,面向某个未知数据集,找到具有最高的泛化性能 的网络结构。性能评估策略在神经网络结构搜索中 则用来估计采样到的神经网络结构的泛化性能。最 简单直接的方式就是将每个神经网络在训练数据上 都训练到收敛,然后将验证数据上的测试结果作为 估计的泛化性能,但是需要花费相当多的时间。