NAS

搜索空间：
1.整体结构
细胞结构
层次结构
网络映射

1.ICLR17年 zoph 以及 quoc le 这篇文章，这篇文章的搜索空间主要是一个整体搜索结构，利用RNN来进行网络结构的产生，每一个RNN输出一个层的一些超参数，比如 卷积核心的大小，stride大概是多少，数量等。当RNN输出结束，也就是一个网络结构的生成。

2.细胞结构
Efficient Neural Architecture Search via Parameter Sharing (Hieu Pham et al ICML2018
Multinomial Distribution Learning for Effective Neural Architecture Search (Zheng et al ICCV2019

3层次结构
Hierarchical Representations for Efficient Architecture Search (Liu et al ICLR2018) 不太懂

4.网络映射
Net2net: Accelerating learning via knowledge transfer (Chen et al arxiv2015)

补充：RNN，自编码
随机搜索相比于网格搜索在某一个维度上可以获得更大的探索空间。

强化学习 ENAS
Multinomial Distribution Learning for Effective Neural Architecture Search （ Zheng ICCV 2019 oral)

darts
pc-darts
SNAS: STOCHASTIC NEURAL ARCHITECTURE SEARCH （ sirui xie ICLR2019)
Neural Architecture Optimization （ Renqian Luo NIPS 2018)

精度估计

1.训练速度提升
减小数据集大小维度，如256变成64
限制训练次数

迁移学习
迁移学习是目前主要使用的方法，一般的文章在cifar10等一些比较小的数据集上进行搜索，然后把网络结构迁移到比较大的数据集诸如imagenet

参数共享
参数共享主要是可求导以及 ENAS文章中使用的方法，设计一个超图，网络结构以及参数直接可以从这个超图中获取。