《神经架构搜索NAS》最新进展综述，25页pdf

最新推荐文章于 2024-09-14 10:28:26 发布

深度学习技术前沿

最新推荐文章于 2024-09-14 10:28:26 发布

阅读量521

点赞数

文章标签：人工智能编程语言深度学习机器学习 python

点击上方，选择星标或置顶，不定期资源大放送！

阅读大概需要5分钟

Follow小博主，每天更新前沿干货

来源于：专知

【导读】本文为大家整理了神经架构搜索NAS的最新进展综述，神经架构搜索(NAS)自动化网络结构工程。它的目标是学习一种网络拓扑，可以在特定任务上获得最佳性能。通过将NAS的方法分解为三个组件:搜索空间、搜索算法和子模型演化策略，这篇文章回顾了许多更好、更快、更经济的自动神经结构搜索的有趣想法。（文末附下载方式）

虽然大多数流行和成功的模型架构都是由人工专家设计的，但这并不意味着我们已经探索了整个网络架构空间并确定了最佳选择。如果我们采用一种系统的、自动的方式来学习高性能模型体系结构，那么我们将更有可能找到最佳的解决方案。

自动学习和演化网络拓扑并不是一个新想法(Stanley & Miikkulainen, 2002)。近年来，Zoph & Le 2017和Baker等人在2017年的开创性工作吸引了神经架构搜索(NAS)领域的大量关注，为更好、更快、更经济的NAS方法带来了许多有趣的想法。

当我开始研究NAS时，我发现Elsken等人2019年的这项调查非常有帮助。它们将NAS描述为一个由三个主要成分组成的系统，简洁明了，也被其他NAS论文广泛采用。

搜索空间: NAS搜索空间定义了一组操作(例如卷积、全连接、池化)以及如何将操作连接起来形成有效的网络架构。搜索空间的设计通常涉及人类的专业知识，以及不可避免的人类偏见。
搜索算法: NAS搜索算法对网络体系结构候选对象进行采样。它接受子模型性能指标作为奖励(例如，高精度，低延迟)，并优化生成高性能架构候选。
评估策略: 我们需要测量、估计或预测提出的大量子模型的性能，以获得反馈，供搜索算法学习。候选评估的过程可能非常昂贵，许多新的方法被提出来节省时间或计算资源。

图1所示：神经架构搜索(NAS)模型的三个主要组件

搜索空间 Search Space
- Sequential Layer-wise Operations
- Cell-based Representation
- Hierarchical Structure
- Memory-bank Representation
搜索算法 Search Algorithms
- Random Search
- Reinforcement Learning
- Evolutionary Algorithms
- Progressive Decision Process
- Gradient descent
评价策略 Evaluation Strategy
- Training from Scratch
- Proxy Task Performance
- Parameter Sharing
- Prediction-Based
One-Shot Approach: Search + Evaluation
What’s the Future?
Appendix: Summary of NAS Papers
Reference