优化-神经结构搜索
文章平均质量分 92
nopSled
一周一更
展开
-
FP-NAS: Fast Probabilistic Neural Architecture Search翻译
可微分神经网络结构搜索(NAS)需要同时保存所有层的选择,这限制了搜索空间和最终网络结构的大小。相反,Probabilistic NAS(例如PARSEC)学习的是网络结构的预测分布,并且仅使用单个模型所需的内存来训练。然而,它需要对许多可能结构进行采样,当将其扩展到一个大的空间时,也需要较大的计算成本。为了解决这些问题,我们提出了一种随结构分布调整的采样方法,其会在一开始时获取较多的结构样本来鼓励探索,并随着学习的进行而减少样本。此外,为了在多变量空间中快速搜索,我们提出一种由粗到细的策略,即通过在开始时翻译 2022-11-18 17:06:54 · 174 阅读 · 0 评论 -
Data-Free Neural Architecture Search via Recursive Label Calibration翻译
神经网络结构搜索(NAS)在自动化神经网络设计方面取得了巨大成功。典型的NAS算法通常涉及三个核心组件:搜索空间,搜索算法和训练数据。NAS中的大多数研究都集中在搜索空间设计或探索出色的搜索算法上。在这项研究中,我们研究了无需访问原始训练数据的同时执行神经网络结构搜索的可行性。我们假设我们只有一个预训练模型,并且在神经网络结构搜索过程中无法访问原始数据集。这是一种常见且合理的情况,例如隐私保护,预防偏差等。翻译 2022-11-14 17:40:16 · 161 阅读 · 0 评论 -
HAT: Hardware-Aware Transformers for Efficient Natural Language Processing翻译
摘要Transformer在自然语言处理(NLP)任务中无处不在,但是由于需要大量的计算,因此很难将其部署在硬件上。为了在资源受限的硬件平台上实现低延迟推理,我们建议使用神经结构搜索设计Hardware-Aware Transformer(HAT)。我们首先构造一个具有任意编码器-解码器注意力模块和异构层的大型设计空间。然后,我们训练一个涵盖设计空间中所有候选对象的SuperTransformer,并有效地产生许多具有权重共享的SubTransformer。最后,我们在硬件延迟约束下执行进化搜索,以找到n翻译 2020-08-15 15:29:29 · 777 阅读 · 0 评论 -
EENA: Efficient Evolution of Neural Architecture翻译
摘要目前用于自动神经结构搜索的最新算法已达到很好的效果,但是在搜索空间中基本上是无方向的搜索,并且在训练每个中间网络结构方面计算量很大。在本文中,我们提出了一种高效的结构搜索方法,称为EENA(Efficient Evolution of Neural Architecture)。由于精心设计的变异和交叉操作,进化过程能够以已经学习的信息为指导。因此,将需要较少的计算工作量,同时可以显着减少搜索和训练时间。在CIFAR-10分类中,EENA使用最少的计算资源(0.65 GPU-days)可以设计高效的神经翻译 2020-10-09 10:35:17 · 433 阅读 · 0 评论 -
CARS: Continuous Evolution for Efficient Neural Architecture Search翻译
摘要翻译 2020-10-09 10:23:49 · 514 阅读 · 0 评论 -
Learning to reinforcement learn for Neural Architecture Search翻译
摘要强化学习(RL)是一种面向目标的学习解决方案,已被证明对于CIFAR和ImageNet数据集上的神经结构搜索(NAS)是成功的。但是,这种方法的局限性在于它的高计算成本,使其无法用在其他数据集上。通过使用元学习,我们可以通过调整以前学习到的策略来降低成本,而不必从头开始学习。在这项工作中,我们提出了一种深层meta-RL算法,该算法可在一组环境中学习自适应策略,从而有可能将其转移到以前未见过的任务中。过去,该算法已应用于各种概念性验证环境,但我们将其适应了NAS问题。在为三个难度越来越高的数据集设计链翻译 2020-09-27 17:08:45 · 467 阅读 · 0 评论 -
The Evolved Transformer翻译
摘要最近的工作凸显了Transformer结构在序列任务上的处理优势,与此同时,神经架构搜索(NAS)已开始超越人类设计的模型。我们的目标是应用NAS寻找Transformer的更好替代结构。我们首先根据前馈序列模型的最新进展构建一个大型搜索空间,然后通过用Transformer构建我们的初始种群,以热启动(warm starting)运行进化结构搜索。为了直接搜索计算量大的WMT 2014 English-German翻译任务,我们开发了Progressive Dynamic Hurdles方法,该方法翻译 2020-09-24 17:30:51 · 427 阅读 · 0 评论 -
Genetic CNN翻译
摘要深卷积神经网络(CNN)是大规模视觉识别的最新解决方案。遵循一些基本原则,例如增加网络深度和构建highway连接,研究人员手动设计了许多固定的网络结构并验证了其有效性。 在本文中,我们讨论了自动学习深度网络结构的可能性。请注意,可能的网络结构的数量随着网络中层数的增加而呈指数增长,这促使我们采用遗传算法来有效地探索这一庞大的搜索空间。核心思想是提出一种编码方法,用固定长度的二进制字符串表示每个网络结构。通过生成一组随机个体来初始化遗传算法。在每一次生成中,我们定义标准的遗传操作,例如选择,变异和翻译 2020-09-16 20:34:50 · 541 阅读 · 0 评论 -
Large-Scale Evolution of Image Classifiers翻译
摘要事实证明,神经网络能够有效解决各类困难问题,但是设计其网络结构可能具有挑战性,即使仅针对图像分类问题也是如此。我们的目标是最大程度地减少人类的参与,因此我们采用进化算法来自动发现此类网络。尽管有大量的计算需求,但我们表明,现在可以开发出精度在去年发布的范围内的模型。具体来说,我们以前所未有的规模采用简单的进化算法来发现CIFAR-10和CIFAR-100数据集的模型,从琐碎的初始条件开始,准确度分别达到94.6%和77.0%。为此,我们使用新颖直观的变异操作来在较大的搜索空间进行搜索。我们表明,一旦进翻译 2020-09-12 14:09:56 · 456 阅读 · 0 评论 -
Understanding and Simplifying One-Shot Architecture Search翻译
摘要自动化神经网络结构设计越来越受到研究人员的关注。现有的结构搜索方法在计算上可能是昂贵的,需要从头开始训练数千种不同的结构。最近的工作探索了在各个模型之间进行权重共享,以减少训练成本。尽管以前的方法将结构搜索的成本降低了几个数量级,但它们仍然很复杂,需要hypernetworks或强化学习控制器。我们旨在了解one-shot结构搜索的权重共享。通过仔细的实验分析,我们表明可以从复杂的搜索空间中高效识别有效的网络结构,而无需使用hypernetworks或RL。1.介绍 设计神经网络是一项劳动密集翻译 2020-09-09 11:21:58 · 867 阅读 · 0 评论 -
Efficient Neural Architecture Search via Parameter Sharing翻译
摘要我们提出了高效神经结构搜索(ENAS),这是一种快速且低成本的自动模型设计方法。在ENAS中,控制器通过在大型计算图中搜索最佳子图来发现神经网络结构。使用策略梯度训练控制器,以选择一个子图,该子图可使验证集上的期望奖赏最大化。同时,训练与所选子图相对应的模型以最小化交叉熵损失。在子模型之间共享参数使ENAS可以提供强大的经验性能,同时与现有的自动模型设计方法相比,使用的GPU-小时要少得多,并且与标准的神经结构搜索相比,其成本要便宜1000倍。在Penn Treebank数据集上,ENAS发现了一翻译 2020-09-06 14:55:28 · 424 阅读 · 0 评论 -
Path-Level Network Transformation for Efficient Architecture Search翻译
摘要我们为高效神经结构搜索引入了一种新的功能保留的转换。这种网络转换可以重用以前训练好的网络和现有成功的结构,从而提高采样效率。我们旨在解决当前网络转换操作的局限性,这些操作只能执行层级体系结构修改,例如添加(修剪)滤波器或插入(删除)层,而这些操作无法更改连接路径的拓扑。我们提出的路径级转换操作使元控制器能够修改给定网络的路径拓扑,同时保留重用权重的优点,从而可以有效地设计具有复杂路径拓扑(如Inception模型)的有效结构。我们进一步提出了一种双向树结构的强化学习元控制器,以探索一个简单而又富有表现翻译 2020-09-02 12:02:18 · 340 阅读 · 0 评论 -
DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH翻译
摘要本文通过以可微分的方法构建任务来解决结构搜索的可扩展性挑战。与在离散的和不可微的搜索空间上应用进化搜索或强化学习的常规方法不同,我们的方法基于结构表示的连续松弛,从而允许使用梯度下降有效地搜索模型结构。在CIFAR-10,ImageNet,Penn Treebank和WikiText-2上进行的大量实验表明,我们的算法在发现用于图像分类的高性能卷积结构和用于语言建模的循环结构方面表现出色,同时比最新且不可微分方法快几个数量级。我们的实现已公开提供,以促进对高效结构搜索算法的进一步研究。1.介绍发现翻译 2020-08-30 14:16:04 · 396 阅读 · 0 评论 -
Neural Architecture Search: A Survey翻译
摘要在过去的几年中,深度学习已在各种任务(例如图像识别,语音识别和机器翻译)上取得了显着进步。这一进展的一个关键方面是新的神经网络结构。当前采用的网络结构大部分是由人类专家设计的,这是一个耗时且容易出错的过程。 因此,这导致对自动神经结构搜索方法的兴趣日益浓厚。我们概述了该研究领域中的现有工作,并根据三个维度对它们进行了分类:搜索空间,搜索策略和性能评估策略。1.介绍 深度学习在感知任务中的成功很大程度上归功于其对特征工程流程的自动化:层次化特征提取器是从数据中以端对端的方式学习的,而不是人工设计翻译 2020-08-26 13:53:59 · 564 阅读 · 0 评论 -
Efficient Architecture Search by Network Transformation
摘要自动设计深度神经网络结构的技术(例如基于强化学习的方法)最近显示出令人鼓舞的结果。但是,它们的成功基于大量的计算资源(例如数百个GPU),因此很难被广泛使用。一个明显的局限性是,他们在探索体系结构空间时仍然从头开始设计和训练每个网络,这是非常低效的。在本文中,我们通过探索基于当前网络的结构空间并重用其权重,为高效结构搜索提出了一个新框架。我们使用强化学习agent作为元控制器,其作用是通过功能保留的转换来增加网络深度或层宽度。这样,先前经过验证的网络可以重新用于进一步的探索,从而节省了大量的计算成本。翻译 2020-08-22 16:47:29 · 608 阅读 · 0 评论 -
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING翻译
摘要神经网络是强大而灵活的模型,可以很好地处理图像,语音和自然语言理解方面的许多困难学习任务。这尽管取得了很大成功,但神经网络仍然很难设计。在本文中,我们使用循环网络来生成神经网络的模型描述,并通过强化学习来训练该RNN,以在验证集上最大化所生成体系结构的期望准确率。在CIFAR-10数据集上,我们的方法从头开始,可以设计一种新颖的网络体系结构,在测试集准确率方面可以与人类发明的最佳体系结构相媲美。我们的CIFAR-10模型实现了3.65的测试错误率,比以前使用类似架构方案的最新模型提高了0.09%,并且翻译 2020-08-19 16:03:06 · 241 阅读 · 0 评论