MeCo: Zero-Shot NAS with One Data and SingleForward Pass via Minimum Eigenvalue of Correlation（预览版本）

论文地址：MeCo: Zero-Shot NAS with One Data and Single Forward Pass via Minimum Eigenvalue of Correlation | OpenReview 代码地址：GitHub - HamsterMimi/MeCo

摘要

神经架构搜索 (NAS) 是自动架构工程中一个很有前途的范例。零样本 NAS 可以通过一些称为零成本代理的特定指标来评估无需训练的网络。尽管有效，但现有的零成本代理要么调用至少一次反向传播，要么高度依赖于数据和标签。为了缓解上述问题，在本文中，我们首先揭示了特征图的皮尔逊相关矩阵如何影响过度参数化的神经网络的收敛速度和泛化能力。受理论分析的启发，我们提出了一种名为 MeCo 的新型零成本代理，它只需要一个随机数据即可进行一次前向传递。我们进一步提出了一种优化方法 MeCoopt 来提高我们方法的性能。我们设计了全面的实验并在多个流行的基准上对 MeCo 进行了广泛的评估。在所有最先进的代理中，MeCo 与地面实况的相关性最高（例如，在 CIFAR-10 的 NATS-Bench-TSS 上为 0.89），并且完全独立于数据和标签。此外，我们将 MeCo 与现有的生成方法集成在一起，构成一个完整的 NAS。实验结果表明，基于 MeCo 的 NAS 可以选择准确率最高且搜索成本较低的架构。例如，基于 MeCo 的 NAS 搜索到的最佳网络在 CIFAR-10 上达到 97.31%，比相同设置下的基线高 0.04%。我们的代码可在https://github.com/HamsterMimi/MeCo 获得。