神经架构搜索
文章平均质量分 94
顾道长生'
时人不识凌云木,直待凌云始道高。
展开
-
(JMLR-2019)NAS综述鼻祖-神经架构搜索:一项调查
过去几年,深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显着进步。这一进展的一个关键方面是新颖的神经架构。目前使用的架构大多是由人类专家手动开发的,这是一个耗时且容易出错的过程。正因为如此,人们对自动化神经架构搜索方法越来越感兴趣。搜索空间搜索策略和性能评估策略。关键词:神经架构搜索、AutoML、AutoDL、搜索空间设计、搜索策略、性能估计策略。原创 2023-01-07 10:18:15 · 1145 阅读 · 0 评论 -
(ICIP-2019)通过神经结构搜索进行视频动作识别
深度神经网络在视频分析和理解方面取得了巨大成功。然而,设计高性能神经架构需要大量的努力和专业知识。在本文中,我们首次尝试让算法自动设计用于视频动作识别任务的神经网络。具体来说,时空网络是在由有向无环图建模的可微空间中开发的,因此可以执行基于梯度的策略来搜索最佳架构。尽管如此,它在计算上是昂贵的,因为评估每个体系结构候选者的计算负担仍然很重。为了缓解这个问题,我们针对视频输入引入了一种时间段方法,以在不丢失全局视频信息的情况下降低计算成本。对于架构,我们通过引入伪 3D 运算符在高效的搜索空间中进行探索。实验原创 2022-12-04 15:30:06 · 1154 阅读 · 0 评论 -
(ICLR-2019)DARTS:可微分架构搜索
本文通过以可微分的方式制定任务来解决架构搜索的可扩展性挑战。与传统的在离散的、不可微分的搜索空间上应用进化或强化学习的方法不同,我们的方法是基于架构表示的连续松弛,允许使用梯度下降法有效搜索架构。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上的大量实验表明,我们的算法在发现用于图像分类的高性能卷积架构和用于语言建模的循环架构方面表现出色,同时比最先进的不可微分技术快了几个数量级。我们的实现已公开,以促进对高效架构搜索算法的进一步研究。发现最先进的神经网络架构需要人类原创 2022-12-03 20:07:05 · 2165 阅读 · 0 评论 -
神经架构搜索的综合调查:挑战和解决方案(二)
NAS 是一项很有前途的研究。在本节中,我们根据主流搜索方法 [27, 28] 对现有 NAS 的性能进行分类和比较,同时还根据第 3 节报告了它们使用的优化策略。这些搜索方法主要包括以下内容:强化学习(RL) ,进化算法(EA),梯度优化(GO),随机搜索(RS)和基于序列模型的优化(SMBO)[162]。我们在图 15 中总结了 NAS 背景下 RL、SMBO 和 EA 的一般框架比较。图 15a 显示了 NAS 上下文中 RL 的一般框架。原创 2022-11-30 17:08:17 · 368 阅读 · 0 评论 -
神经架构搜索的综合调查:挑战和解决方案(一)
深度学习以其强大的自动表示能力在很多领域取得了突破和实质性进展。已经证明,神经架构设计对于数据的特征表示和最终性能至关重要。然而,神经架构的设计在很大程度上依赖于研究人员的先验知识。并且由于人类固有知识的局限性,人们很难跳出原有的思维范式,设计出最优模型。因此,一个直观的想法是尽可能减少人为干预,让算法自动设计神经架构。神经结构搜索(Neural Architecture Search,NAS)就是这样一种革命性的算法,相关的研究工作复杂而丰富。因此,对NAS进行全面系统的调查是必不可少的。原创 2022-11-30 17:06:52 · 1194 阅读 · 0 评论