论文阅读笔记 深度神经架构搜索综述

最新推荐文章于 2022-05-26 09:58:41 发布
最新推荐文章于 2022-05-26 09:58:41 发布
阅读量458 收藏 2
点赞数
分类专栏： 论文阅读笔记 文章标签： 机器学习 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43483965/article/details/113916716
版权
本文概述了深度神经架构搜索，包括问题定义、搜索空间（链式、多分枝、基于Cell的结构）、搜索策略（随机、贝叶斯、强化学习、神经进化、梯度方法）和性能评估策略（低保真度、早停、代理模型、权值共享）。重点讨论了基于Cell的结构在迁移学习中的优势以及不同搜索策略的效率和性能。
摘要由CSDN通过智能技术生成

1.引用格式

Meng Ziyao, Gu Xue, Liang Yanchun, Xu Dong, Wu Chunguo. Deep Neural Architecture Search: A Survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22-33.

2.主要内容

2.1 问题定义

在预先设定的搜索空间中得到一个中间网络架构作为候选架构,通过性能评估策略对此候选架构进行性能度量,最后将测量的结果反馈给搜索策略,不断重复搜索—评估的过程直到发现最优的网络架构．
在这里插入图片描述

2.1.1 搜索空间

a) 链式结构
网络中的每一层仅与其前后相邻的２层连接,且网络中没有跨层连接的情况,网络的整个架构呈现为链条状，如：
在这里插入图片描述

b) 多分枝结构
,它允许网络中的层可以与其前面的任意层进行连接，如ResNet,
,浅层网络中的特征会通过跳跃连接直接传递到更深的功能层,从而克服了梯度消失对深层网络的影响。

c) 基于cell的结构
将多个操作组合成Cell,并将Cell作为组成神经网络的基本单元,以此设计了基于Cell的网络构．具体来说,构建基于Cell的网络结构分为两步,首先需要构建最优的Cell结构,之后将得到的Cell按照预先定义的规则进行堆叠,

最低0.47元/天 解锁文章
阿尔法猫
关注
专栏目录
2021年 ICCV / NeurIPS / AAAI 中Neural Architecture Search (NAS) 神经网络结构搜索相关论文汇总
AAAAshin的博客
02-06 2613
这里写自定义目录标题ICCV (35篇)NeurIPS / NIPS （28篇）AAAI (31篇) ICCV (35篇) Learning Latent Architectural Distribution in Differentiable Neural Architecture Search via Variational Information Maximization AdvRush Searching for Adversarially Robust Neural Architectures
深度神经网络结构搜索综述(中文版)
02-13
深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展，很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计，需要专业的机器学习知识以及大量的试错。
(顶刊)神经结构搜索的综述（关于NAS的一篇非常好的综述）
大模型天花板
03-22 5146
A Survey on Neural Architecture Search 1.摘要 神经网络架构的搜索和深度学习一样近些年变成了一个相当热门的领域。深度学习方面的很多进步都源于NAS(Neural Architecture Search)的进步。深度学习非常耗时，且需要丰富的领域知识才能很好地用它。 在这篇论文里，讨论了基于强化学习，进化算法，代理模型等NA优化算法。还讨论了该领域的一些新研究，包括考虑约束，多目标，数据增强，优化器和激活函数搜索。 2.介绍 这里作者提到，搜索合适的神经网络体系结构任务
NEURAL ARCHITECTURE SEARCH 论文合集
追随梦想，实现梦想
01-13 315
LITERATURE ON NEURAL ARCHITECTURE SEARCH 里面的论文数量还是比较多的。
Neural Architecture Search with Reinforcement Learning论文详解
逆熵而行
07-05 1623
这一篇可以算是神经网络架构搜索（NAS）的开篇之作，是谷歌的Zoph等人提出来的。论文采用RNN结构的Controller从搜索空间中预测生成自网络，用强化学习方法去优化controller RNN的参数。 以视觉应用的CNN模型为例，该论文的基本思想有三点： 用controller RNN去预测每一个网络层（layer）的卷积参数； 将controller RNN的输出作为强化学习中的action作用于搜索空间，设计子网络； 在训练完子网络后，将数据验证集的精度作为强化学习的reward去训练contr
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
【深度学习】步态识别-论文阅读：（T-PAMI-2021）综述:Deep Gait Recognition
zhe470719的博客
03-08 4154
论文详情： 期刊：T-PAMI-2021 地址：参考笔记 1.Abstract 本文综述了到2021年1月底在步态识别方面的最新进展，以 全面概述了深度学习步态识别的突破和最近的发展，涵盖了广泛的主题，包括数据集，测试协议，最新的解决方案，挑战和未来的研究方向。 首先回顾了常用的步态数据集以及为评估它们而设计的原则。 然后，提出了一个新的分类方法，它由四个独立的维度组成，即主体表征、时间表征、特征表征和神经结构，以帮助描述和组织该领域的研究景观和文献。 在此基础上，对基于深度学习的步态识别方
论文浅尝 | 神经符号推理综述（下）
开放知识图谱
06-23 2716
笔记整理 |许泽众，浙江大学在读博士3、神经驱动的符号推理相比于之前的两种类型，神经驱动的符号推理的目的是挖掘规则，而神经网络在其中扮演的作用是解决纯符号推理的不确定性，并且能够有效的减...
深度学习超分辨率综述阅读笔记（翻译）
vagusbroken的博客
10-26 2436
深度学习超分辨率综述阅读笔记（翻译） https://arxiv.org/abs/1902.06068 摘要：图像超分辨率（SR）是计算机视觉中增强图像和视频分辨率的一类重要图像处理技术。近几年来，图像超分辨率研究已经利用深度学习技术取得了重大进展。文本旨在系统性综述图像超分辨率技术利用深度学习技术所取得的最新进展。总体来看，现有的 SR 技术研究大体可以分为三大类：监督 SR、无监督 SR 以及特定领域的 SR。除此之外，本文还介绍了其他一些重要内容，如公共开源基准数据集和性能评估指标。最后，本文还指出
automl-神经架构搜索(NAS)-综述
01-06
综述文章 Neural Architecture Search: A Survey (神经网络结构搜索survey) 神经架构搜索的几个研究视角 搜索空间/模型结构 搜索空间定义了NAS算法可以搜索的神经网络的类型，同时也定义了应该如何描述神经网络结构。神经网络所实现的计算可以抽象成一个无孤立节点的有向无环图（DAG），图的节点代表神经网络的层（卷积网络中的特征图），边代表数据的流动（进行的操作：卷积、池化等）。每个节点从其前驱节点（有边射入）接收数据，经过计算之后将数据输出到后续节点（有边射出）。理论上说，只要是无孤立节点的DAG，都是合法的神经网络结构。按照不同的尺度，神经网络的结构
nas-framework:神经架构搜索框架
05-15
神经架构搜索框架 顾名思义，NAS框架是一个有助于在各种数据集上进行的框架。 它提供了一种简单灵活的方法来定义任意复杂度的搜索空间和Architect类，该类无需修改在模板之后定义的任何搜索空间即可工作。 架构师是一种递归神经网络，它通过递归地创建目前预测的计算图的表示并根据接收到该表示的策略选择一个动作（即搜索空间的特定维度中的点）来生成计算图的描述。输入。 架构师接受了使用强化学习的培训，特别是在各种数据集上的类似于Actor-Critic的算法变体。 该软件包当前处于alpha版本，并且开箱即用地支持“多层感知器”和“递归神经网络”搜索空间。 如果这两个搜索空间可以满足您的需求，那么为了执行神经体系结构搜索，您要做的torch.utils.data.Dataset使用数据创建torch.utils.data.Dataset并在scripts.train_toxic修改toxi
图深度神经网络综述（一）
梦家の博客
12-18 3453
图深度神经网络综述（一） 参考文献：Deep Learning on Graphs: A Survey 简介 在图结构数据上使用深度学习的限制： 图的不规则性 与图像，音频或文本数据不同，图是一种不规则的数据结构。因此，对于神经网络难以定义对应的卷积或者池化操作。造成了几何上的深度学习问题。 图的不同结构和处理任务 图可能有多重结构，例如同构的或者异质的，加权的和不加权的，有符号的...
【读点论文】Benchmark Analysis of Representative Deep Neural Network Architectures当准确率不再是唯一衡量标准，给多目标优化一个导向
白水空空
05-26 348
Benchmark Analysis of Representative Deep Neural Network Architectures ABSTRACT 这项工作对目前（2018）提出的用于图像识别的大多数深度神经网络（DNNs）进行了深入分析。（可直接看结论） 对每个DNN的多个性能指标进行了观察，如识别精度、模型复杂度、计算复杂度、内存使用和推理时间。本文分析和讨论了这些性能指标的行为以及它们的一些组合。为了测量这些指数，本文在两种不同的计算机架构上实验了DNN的使用，一种是配备了NVIDIA
Neural Architecture Search: A Survey
The Thinker
09-01 3000
论文地址：https://arxiv.org/abs/1808.05377v3 论文主要是介绍了Neural Architecture Search（NAS）近几年的发展，在介绍NAS之前我想抛出一个问题：为什么要研究AutoML（NAS可以看做AutoML的一个子领域）？ 回到论文，为什么要进行NAS呢？因为专家对网络架构的设计是一个耗时（time-consuming ）且易错（error-pr...
自动化机器学习（三）神经网络架构搜索综述(NAS)简述
FontTian的博客
08-20 4181
自动化机器学习就是能够自动建立机器学习模型的方法，其主要包含三个方面：方面一，超参数优化；方面二，自动特征工程与机器学习算法自动选择；方面三，神经网络结构搜索。本文侧重于方面三，神级网络结构搜索。自动化机器学习的前两个部分，都有一个特点——只对现在已有的算法进行搜索，而不创造新的算法。一般而言机器学习专家在开发机器学习应用或者构建机器学习模型时，都不太可能从头造轮子，直接创造一个新的算法。但是到了深度神经网路的时候，就发生了一些变化。严格意义上来说，神经网络的基本结构都是固定的，有限的。
干货！神经网络架构的快速性能估计方法的衡量
AITIME_HY的博客
05-21 567
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！如何高效、准确地对神经架构进行性能估计是神经网络架构搜索(NAS)的一大关键问题。为了降低估计架构性能所需的训练成本，单次评估器(One-Shot Estimator, OSE)通过在所有架构之间共享一个“超网络”的参数来分摊架构训练成本。最近也有研究者提出了完全不需要训练的零样本估计器(Zero-Shot Est...
神经架构搜索（NAS）综述
MumuziD的博客
04-03 1283
一、定义 神经架构搜索（Neural Architecture Search，简称 NAS）的核心思想是使用搜索算法来发现用于解决我们的问题所需要的神经网络结构。 有些论文的结果很难重现原因之一就是获得最优超参值往往需要花很大的力气。超参数的自动搜索优化是一个古老的话题了。 对于深度学习来说，超参数（Hyperparameter）主要有三类： 优化参数（如learning rate，b...
神经网络架构搜索（NAS）综述
一一
06-18 2万+
在阅读近期的CVPR2019时，看到一篇比较亮眼的图像分割论文。来自斯坦福Li Fei-Fei组（Auto-deeplab），关于利用NAS策略进行图像分割，达到了较优的水平，仅仅比deeplabv3+少1.3%，且只用了3张P100 GPU。收集一些关于NAS的资料，做一个神经网络架构搜索综述，在借鉴部分给出相应的链接以及引用，侵删。 神经网络结构搜索（Neural Architecture...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值