【论文笔记】Efficient Neural Architecture Search via Parameter Sharing

最新推荐文章于 2021-05-28 16:20:28 发布
最新推荐文章于 2021-05-28 16:20:28 发布
阅读量1k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45966830/article/details/103392842
版权

【论文笔记】Efficient Neural Architecture Search via Parameter Sharing

本文中作者提出了ENAS，是一种快速且廉价的自动模型设计方法。ENAS中，控制器通过在大型计算途中搜索最佳子图来搜索神经架构；同时通过在子模型间的参数空降大大降低了计算开销。这项工作的主要贡献在于，通过强制所有子模型共享权重来避免从头到尾地训练每个子模型，从而提高了NAS的效率。

Methods

ENAS概念的核心是，NAS最终迭代所得的所有图都可以看作是较大图的子图。换句话说，我们可以使用单个有向无环图（DAG）表示NAS的搜索空间。如下图所示，图中的节点表示局部计算，边表示信息流：
在这里插入图片描述

Designing Recurrent Cell(设计循环单元)

ENAS的控制器是一个RNN，它决定：1）激活哪些边，以及2）在DAG中的每个节点上执行了哪些计算。为了创建一个循环单元，控制器RNN对N个决策块进行采样，如下图所示：

最低0.47元/天 解锁文章
weixin_45966830
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ultrafast Photorealistic Style Transfer via Neural Architecture
10-19
本文提出了一种基于神经架构搜索（Neural Architecture Search）的快速风格转移算法，称为Ultrafast Photorealistic Style Transfer via Neural Architecture。该算法可以生成高质量的风格转移图像，同时实现了高速...
论文解读 ENAS: Efficient Neural Architecture Search via Parameter Sharing
lftxd1的博客
10-31 278
提出了高效神经架构搜索(ENAS) ，这是种用于自动模型设计的快速且廉价的方法。在子模型之间共享参数使ENAS 能够提供强大的经验性能，同时使用的GPU 小时数比现有的自动模型设计方法要少得多，尤其是比标准神经架构搜索便宜1000倍。控制生成节点的类型，和上一层节点。如果一个层接收到来自它之前的多个层的跳过连接，那么这些层的输出在它们的深度维度上连接起来（先池化），然后是一个滤波器大小为1×1的卷积（后面是一个批量归一化层和一个ReLU层）执行以确保输出通道的数量在不同架构之间不会改变。
Efficient Neural Architecture Search via Parameter Sharing
weixin_37958272的博客
07-08 694
Efficient Neural Architecture Search via Parameter Sharing 提出了一种高效的神经结构搜索（ENAS）方法，它是一种快速、廉价的模型自动设计方法。在ENAS中，控制器通过在大型计算图中搜索最优子图来发现神经网络结构。利用策略梯度训练控制器，选择一个子图，使验证集上的期望报酬最大化。同时对所选子图对应的模型进行训练，以最小化典型交叉熵损失。在子模型之间共享参数允许ENAS提供强大的经验性能，同时比现有的自动模型设计方法使用更少的GPU时间，尤其是比标准神
ENAS：通过参数共享实现高效的神经架构搜索《EfficientNet Neural Architecture Search via Parameter Sharing》
北街末雨Yyg
05-28 995
本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上下（2.65%的测试误差）。
【神经网络搜索】ENAS:Efficient Neural Architecture Search
pprp的博客
03-01 1016
【GiantPandaCV导语】本文介绍的是Efficient Neural Architecture Search方法，主要是为了解决之前NAS中无法完成权重重用的问题，首次提出了参数共享Parameter Sharing的方法来训练网络，要比原先标准的NAS方法降低了1000倍的计算代价。从一个大的计算图中挑选出最优的子图就是ENAS的核心思想，而子图之间都是共享权重的。 1. 摘要 ENAS是一个快速、代价低的自动网络设计方法。在ENAS中，控制器controller通过在大的计算图中搜索挑选一个最
《Efficient Neural Architecture Search via Parameter Sharing》论文阅读笔记
JR_Chan的博客
03-31 817
ENAS  这篇文章还是出自Google Brain，本文提出的方法极大提升了NAS的搜索速度，不再动辄需要几百个GPU days了，这篇文章发表在了ICML 2018。原文可见Efficient Neural Architecture Search via Parameter Sharing。 摘要   1. 引言   2. 相关工作 3.   3.1   3.2   4. 方法 4.1 ...
论文笔记系列-Efficient Neural Architecture Search via Parameter Sharing
aiwanghuan5017的博客
08-07 1240
Summary 本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上...
FAST NEURAL NETWORK ADAPTATION VIA PARAME-TER REMAPPING AND ARCHITECTURE SEARCH
06-02
计算机视觉Github开源论文
GRAPH HYPERNETWORKS FOR NEURAL ARCHITECTURE SEARCH.pdf
05-20
GRAPH HYPERNETWORKS FOR NEURAL ARCHITECTURE SEARCH
Python-PyTorch实现EfficientNeuralArchitectureSearchviaParametersSharing
08-11
在本文中，我们将深入探讨如何使用Python和PyTorch库实现一种高效的神经网络架构搜索（Neural Architecture Search，简称NAS）方法——“Efficient Neural Architecture Search via Parameter Sharing”（ENAS）。...
ENAS PyTorch（高效神经网络结构搜索） 项目
08-02
该项目是对论文《参数共享的高效神经网络结构搜索（Efficient Neural Architecture Search (ENAS) via Parameters Sharing）》的实现。ENAS 做什么？高效神经网络结构搜索，即 ENAS 减少了计算需求，将 NAS 的 GPU 计算时间减少了 1000 倍。他们通过共享大型计算图中的子图模型之间的参数共享来完成此操作。 如何使用它的过程已经在 GitHub 页面上得到了很好的展示。实现这个库的先决条件是： Python 3.6+ 需要 PyTorch tqdm，imageio，graphviz，tqdm，tensorboardX
Efficient Human Pose Estimation from Single Depth Images
12-24
微软研究院的最新大作。 We describe two new approaches to human pose estimation. Both can quickly and accurately predict the 3D positions of body jointsfromasingledepthimage,withoutusinganytemporalinformation.Thekeytobothapproachesistheuseofalarge,realistic, and highly varied synthetic set of training images. This allows us to learn models that are largely invariant to factors such as pose, body shape, field-of-view cropping, and clothing. Our first approach employs an intermediate body parts representation, designed so that an accurate per-pixel classification of the parts will localize the joints of the body. The second approach instead directly regresses the positions of body joints. By using simple depth pixel comparison features, and parallelizable decision forests, both approaches can run super-realtime on consumer hardware. Our evaluation investigates many aspects of our methods, and compares the approaches to each other and to the state of the art. Results on silhouettes suggest broader applicability to other imaging modalities.
《Multinomial Distribution Learning for Effective Neural Architecture Search》
01-20
1、 propose a Multinomial Distribution Learning for extremely effective NAS, which considers the search space as a joint multinomial distribution. 2、Propose a performance ranking hypothesis, which ...
ENAS--Efficient Neural Architecture Search via Parameter Sharing(论文笔记)
qq_32256033的博客
12-23 541
谷歌提出的Efficient Neural Architecture Search(ENAS)，是对NAS的改进版。使用生成的网络结构NASNet，在PTB数据集取得了55.8%的测试错误率，在cifar10上取得了2.89%的测试错误率。同时训练速度相比NAS提升了1000倍，只使用一个1080Ti，小于16小时训练成功。 ENAS包括一个基于RNN的控制端网络结构和一个由控制端的组合方式生成的...
[论文极简笔记] Efficient Neural Architecture Search via Parameter Sharing（Arxiv 1802）
Holeung blog
07-05 3193
ENAS是对NAS的改进。NAS存在的问题是它的计算瓶颈，因为NAS是每次将一个子网络训练到收敛，之后得到相应的reward，再将这个reward反馈给RNN controller。但是在下一轮训练子网络时，是从头开始训练，而上一轮的子网络的训练结果并没有利用起来。 当我们把上图中所有 Layer 连成一条直线的模型改成右边交叉连线的模型，显然两者是不同的 Graph，而前一个导出模型权重...
网络结构搜索（2）—— ENAS（Efficient Neural Architecture Search via Parameter Sharing）论文笔记
Lucifer_zzq的博客
10-20 3577
一、ENAS 论文地址： 代码地址：  
神经网络架构搜索（Neural Architecture Search）杂谈
热门推荐
世事难料，保持低调
12-02 7万+
机器学习从业者被戏称为“调参工”已经不是一天两天了。我们知道，机器学习算法的效果好坏不仅取决于参数，而且很大程度上取决于各种超参数。超参数的自动搜索优化是一个古老的话题了。深度学习前它主要针对传统机器学习算法的参数，比较经典的方法有random search, grid search，Bayesian optimization，Reinforcement learning, Evolutionar...
Efficient Neural Architecture Search via Parameter Sharing翻译
nopSled
09-06 414
摘要 我们提出了高效神经结构搜索（ENAS），这是一种快速且低成本的自动模型设计方法。在ENAS中，控制器通过在大型计算图中搜索最佳子图来发现神经网络结构。使用策略梯度训练控制器，以选择一个子图，该子图可使验证集上的期望奖赏最大化。同时，训练与所选子图相对应的模型以最小化交叉熵损失。在子模型之间共享参数使ENAS可以提供​​强大的经验性能，同时与现有的自动模型设计方法相比，使用的GPU-小时要少得多，并且与标准的神经结构搜索相比，其成本要便宜1000倍。在Penn Treebank数据集上，EＮAS发现了一
网络结构搜索（1）—— NAS（Neural architecture search with reinforcement learning）论文笔记
Lucifer_zzq的博客
10-19 7522
一、NAS 论文地址：https://arxiv.org/abs/1611.01578  代码连接：https://github.com/tensorflow/models ICLR2017由Googlebrain推出的论文 二、Motivation for architecture search： •Designing neural network architectures is h...
neural architecture search
最新发布
06-06
神经网络架构搜索 (Neural Architecture Search, NAS) 是一种自动化的网络设计方法，它使用机器学习算法来搜索最佳的神经网络架构，以解决特定的任务。常用的算法有遗传算法，贝叶斯优化，模拟退火算法等。 NAS可以使用成本函数，来评估网络架构，从而可以大大减少人工调参的工作量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值