AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search（预览版本）

代码位置

摘要

免训练网络架构搜索 (NAS) 旨在发现具有零成本代理的高性能网络，捕捉与最终性能相关的网络特征。然而，以前的免训练 NAS 方法估计的网络排名与性能的相关性较弱。为了解决这个问题，我们提出了 AZ-NAS，这是一种新方法，它利用各种零成本代理的集合来大大增强网络预测排名与基本事实之间的相关性，在性能方面。为了实现这一点，我们引入了四个相互补充的新型零成本代理，从表现力、进步性、可训练性和复杂性的角度分析了架构的不同特征。代理分数可以在一次前向和后向传递中同时获得，从而使整个 NAS 过程非常高效。为了有效地整合我们的代理预测的排名，我们引入了一种非线性排名聚合方法，突出显示在所有代理中始终排名较高的网络。实验结果最终证明了 AZ-NAS 的有效性和效率，在标准基准上的表现优于最先进的方法，同时保持合理的运行成本。