合成培养皿：用于快速架构搜索的新型代理模型（论文解读）

快速架构搜索论文摘要

这篇论文主要探讨了一种名为“快速架构搜索”的技术，用于加速神经网络架构的搜索过程。

核心思想:

• 传统的架构搜索方法需要对各种网络结构进行训练，并评估其在完整数据集上的表现，这非常耗时。
• 该论文提出了一种新的方法，通过在小型网络上进行搜索，并使用其性能预测大型网络的表现，从而显著减少搜索时间。
• 论文重点介绍了如何利用小型网络来提取关键信息，例如非线性函数，并将其用于预测大型网络的性能。

论文的关键内容:

• 神经网络架构搜索: 寻找最佳的网络结构，例如多层感知机（MLP）的层数、每层的神经元数量、非线性函数的选择等等。
• 非线性函数: 神经网络中的重要组成部分，用于引入非线性特性，例如sigmoid函数。
• 超参数: 需要手动设置的参数，例如非线性函数的斜率、层数、过滤器大小等等。
• 循环神经网络 (RNN): 一种专门处理序列数据的网络结构，其内部包含复杂的循环单元，这些单元也需要进行架构搜索。

论文的意义:

• 提供了一种更高效的架构搜索方法，能够显著减少搜索时间。
• 有助于找到更优化的神经网络结构，提升模型的性能。

论文的不足:

• 论文只简要介绍了快速架构搜索的基本原理，未提供具体的算法细节。
• 论文没有明确说明该方法在不同任务上的适用性。

总而言之，这篇论文提出了一种很有潜力的快速架构搜索方法，能够有效地加速神经网络架构的搜索过程。

神经架构搜索通常在时间和资源上都非常昂贵，以至于无法实用。搜索策略必须不断评估新模型，并在内部循环中将它们训练到收敛，以确定它们是否有效。本文提出将问题抽象化，并将要优化的架构的必要部分提取到一个更小的版本中，并使用专门定制的学习数据点评估该版本以预测其性能，这比运行完整模型快得多也便宜得多。概述：0:00 - 简介和高级概述1:00 - 神经架构搜索4:30 - 通过架构编码预测性能7:50 - 合成培养皿12:50 - 激励 MNIST 示例18:15 - 完整算法23:00 - 生成合成数据26:00 - 与架构搜索的结合27:30 - PTB RNN-Cell 实验29:20 - 评论和结论论文：https://arxiv.org/abs/2005.13092代码：https://github.com/uber-research/Synthetic-Petri-Dish
摘要：神经架构搜索 (NAS) 探索了大量的架构图案空间 - 这是一个计算密集型过程，通常涉及通过将每个图案实例化到大型网络中，并使用数千个特定于领域的样本数据训练和评估网络来评估每个图案的真实性能。受生物图案（如细胞）有时从其自然环境中提取并在人工培养皿环境中研究的启发，本文提出了用于评估架构图案的合成培养皿模型。在合成培养皿中，架构图案被实例化到非常小的网络中，并使用非常少的学习合成样本数据进行评估（以有效地近似完整问题中的性能）。合成培养皿中图案的相对性能可以替代其真实性能，从而加速 NAS 中最昂贵的步骤。与其他基于神经网络的预测模型（这些模型解析图案的结构以估计其性能）不同，合成培养皿通过在人工环境中训练实际图案来预测图案性能，从而从其真实的内在属性中得出预测。本文中的实验表明，合成培养皿因此可以以更高的精度预测新图案的性能，特别是在缺少真实数据的情况下。我们希望这项工作能够激发一个新的研究方向，即在替代控制环境中研究模型提取组件的性能。