ETAS: Zero-Shot Transformer Architecture Search via NetworkTrainability and Expressivity（预览版本）

摘要 

Transformer 架构搜索 (TAS) 方法旨在自动搜索给定任务的最佳 Transformer 架构配置。然而，评估 Transformer 架构的成本过高阻碍了它们的发展。最近，已经提出了几种 Zero-Shot TAS 方法来缓解这个问题，即利用零成本代理来评估 Transformer 架构而无需训练。不幸的是，它们仅限于特定的计算机视觉或自然语言处理任务。尽管如此，它们中的大多数都是基于经验观察而开发的，缺乏理论保证。为了解决这个问题，我们开发了一种名为 NTSR 的新零成本代理，它结合了两个理论启发的指标来分别衡量 Transformer 网络的可训练性和表达力。然后，我们将其集成到一个名为 ETAS 的有效正则化进化框架中，以证明其在各种任务上的有效性。结果表明，我们提出的 NTSR 代理在计算机视觉和自然语言处理任务上都可以与 Transformer 网络的真实性能始终保持更高的相关性。此外，它可以显著加快寻找性能最佳的 Transformer 架构配置的搜索过程。