【神经网络搜索】NasBench301 使用代理模型构建Benchmark

【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表，其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。

Paper: NAS-Bench-301 and The case for surrogate benchmarks for Neural Architecture Search

Code: https://github.com/automl/nasbench301

0. 动机

• NAS领域需要统一的benchmark，否则研究NAS需要的计算量对大多数人来说很难承受。

• 目前存在的表格型Benchmark(例如NASbench101中使用了表格进行管理，根据网络结构编码得到对应准确率)存在搜索空间受限的问题，同时迁移性比较差。

• 为了解决以上问题，提出使用代理模型构建benchmark，其中包含了$10^{18}$量级的网络架构，同时可以迁移到其他模型空间中。

• 所谓代理模型可以理解为一个预测器，输入是网络架构编码，输出是对应架构精度。

根据以上介绍，需要重点关注：

• 为了适配更多的benchmark，如何进行网络编码？

• 使用代理模型进行回归就一定会带来误差，如何选择回归模型？如何避免误差带来干扰？

1. 贡献

• 提出代理NAS Benchmark - NAS-Ben