ICLR 2020 线上会议已经圆满结束。此次会议关于NAS的研究主题包括对benchmark的探讨、对于流行的NAS方法的理解和分析,以及如何提高NAS方法的精度和效率等。值得一提的是,此届会议举办了ICLR历史上的第一个神经网络架构搜索(NAS)的Workshop(https://sites.google.com/view/nas2020/home),充分体现出NAS正成为越来越热门的神经网络研究方向。
此文列出以下十篇ICLR 2020 上关于NAS的经典文章供大家学习参考!
1. NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search
作者:Xuanyi Dong, Yi Yang
本文是University of Technology Sydney和百度研究团队的合作研究成果。近年来伴随着NAS的大火,NAS的研究方法也层出不穷,但是对于各种方法的比较没有严格的基准。此篇文章致力于设立统一的基准(benchmark)用于不同NAS方法的比较。另外,虽然NAS可以自动搜索表现较好的模型,但是搜索的成本较高,尤其是是评估不同网络结构训练的成本。因此,此篇论文提供了15625个不同网络结构在三个数据集上的的训练的信息,有利于研究工作者避免繁琐重复的训练。
2. NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search
作者:Arber Zela, Julien Siems, Frank Hutter
作者来自University of Freiburg和Bosch AI. 此篇论文与上篇论文在研究目的上具有较大的相似,上篇论文spotlight,这篇论文被选为poster. 因此在此对于这篇文章不做过多的总结。
3. NAS evaluation is frustratingly hard
作者:Antoine Yang, Pedro M. Esperança, Fabio M. Carlucci
后两位作者来自Huawei Noah’s Ark Lab该篇论文提供