Encodings for Prediction-based Neural Architecture Search（未更新预览版）

论文地址  代码地址

摘要

基于预测器的方法大大增强了神经架构搜索 (NAS) 优化。这些预测器的有效性在很大程度上受到编码神经网络架构的方法的影响。虽然传统编码使用邻接矩阵来描述神经网络的图形结构，但新型编码采​​用了从潜在表示的无监督预训练到零成本代理向量的各种方法。在本文中，我们将神经编码分为三种主要类型：结构型、学习型和基于分数型。此外，我们扩展了这些编码并引入了统一编码，将 NAS 预测器扩展到多个搜索空间。我们的分析来自在 NAS 空间（例如 NASBench-101 (NB101)、NB201、NB301、网络设计空间 (NDS) 和 TransNASBench-101）上对超过 150 万个神经网络架构进行的实验。基于我们的研究，我们提出了我们的预测器 FLAN：NAS 的流注意力。 FLAN 整合了预测器设计、迁移学习和统一编码方面的关键见解，使训练 NAS 准确度预测器的成本降低了一个数量级以上。我们所有神经网络的实现和编码都是开源的。