NAS-Bench-101：Towards Reproducible Neural Architecture Search 迈向可再现的神经体系结构搜索

1，背景

    搜索NASNet需要训练数千个网络，因此进行多次试验来公平地评估搜索算法在计算上是不可行的。目前的文献主要以最终测试精度来评价NAS算法，而目前已经展示了许多最先进的NAS算法，如DARTS、NAO、ENAS等，在相同的设置下甚至无法超越随机搜索。为了真正评估一个搜索算法，并绕过计算挑战，Christ等人收集了NASBench，它列举了≤7个节点的所有可能的DAGs，构成(420k+)网络及其最终测试精度。

 

2，说明

   神经体系结构搜索（NAS）的最新进展需要巨大的计算资源。这使得难以重现实验，并且在无法进行大规模计算的情况下对研究人员施加了进入障碍。    

    通过引入NAS-Bench-101（第一个用于NAS研究的公共体系结构数据集）来改善这些问题。    

    NAS-Bench-101构建了一个紧凑而又富有表现力的搜索空间，利用图同构来识别423k个独特的卷积架构。    

    在CIFAR-10上多次训练和评估了所有这些架构，并将结果编译成一个大型数据集。    

    NAS-Bench-101包含超过500万个模型的指标，是迄今为止同类数据库中最大的。    

    这使研究人员可以通过查询预先计算的数据集，以毫秒为单位评估各种模型的质量。

 

3，搜索空间示例

    每个节点表示一个层 ，每个边表示层间依赖关系

    搜索方式是：首先搜索一个小的有向无环图(DAG) ，然后再将多个DAG叠加构成网络

 

更多信息以及论文地址可以参考：https://www.researchgate.net/publication/331371012_NAS-Bench-101_Towards_Reproducible_Neural_Architecture_Search