NAS进化学习(EA)方向综述

最新推荐文章于 2023-09-11 19:51:29 发布
最新推荐文章于 2023-09-11 19:51:29 发布
阅读量533 收藏
点赞数
文章标签： 神经网络 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ai_ni_yo/article/details/131438067
版权
文章介绍了神经网络架构搜索(NAS)的三种主要方法，包括基于强化学习、梯度和进化算法的方式。ENAS作为一种进化算法方式，其流程包括初始化、搜索空间优化和返回结果。文章详细讨论了ENAS的背景，特别是基于进化算法和群智感知的搜索策略，如遗传算法、粒子群优化等，并提到了常用的神经网络类型如CNN和RNN。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考文献：A Survey on Evolutionary Neural Architecture Search

1 NAS分类

  • 强化学习方式
  • 梯度方式
  • 进化算法方式（envolutional nas, ENAS)
    基于强化学习的方式需要运行很久，在中等数据规模上，一般数千个GPU需运行几天。
    基于梯度的方式需要提前构建一个supernet，需要很强的专业知识。
    基于进化算法的方式，主要包括遗传算法（Genetic Algorithms, GAs）、遗传规划(Genetic Programming, GP)、粒子群算法（(Particle Swarm Optimization, PSO)等。

2 ENAS背景

2.1 进化流程图

ENAS主要的算法流程如下，①初始化空间，包括初始种群的选取以及初始种群的适应度评估 ②搜索空间，包括对种群的择优选择，进化操作，继续进行适应度评估，再如此循环，直到达到终止条件（epoches或者loss不下降）③返回最终结果
图1 ENAS主要的算法流程

2.2 搜索策略

如图2所示，ENAS主要分类为基于进化算法(Envolutionary Algorithm)和基于群智感知(Swarm Intelligence , SI)以及其它三类。

EA_basedSI_based
基因算法(Genetic Algorithm, GA)粒子群优化(Particle Swarm Optimization, PSO)
遗传规划(Genetic Programming, GP)蚁群优化(Ant Colony Optimization, ACO)
进化策略(Envolutionary Strategy, ES)

其它：差分进化(DE) 萤火虫算法(FA)
图2 ENAS搜索策略

2.2 常用的神经网络

ENAS常用的神经网络如图3所示，它可以大致分为五个不同的类别:CNN，深度信念网络(DBN)，堆叠自编码器(SAE)，循环神经网络(RNN)等。
图3 常用的网络模型

Cokin_Echo
关注
Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap
c_cpp_csharp的专栏
02-28 718
大型语言模型（LLM）不仅彻底改变了自然语言处理，而且将其能力扩展到了各个领域，标志着向通用人工智能迈出了重要的一步。LLM和进化算法（EA）之间的相互作用，尽管目标和方法不同，但在复杂问题中有着共同的适用性追求。同时，EA可以为LLM在黑匣子设置下的进一步增强提供优化框架，赋予LLM灵活的全局搜索能力。另一方面，LLM固有的丰富领域知识可以使EA进行更智能的搜索。此外，LLM的文本处理和生成能力将有助于在广泛的任务中部署EA。
【论文笔记】AutoML: A survey of the state-of-the-art（上篇）
一个苦逼研究僧的博客
10-25 966
这篇文章简单介绍了深度学习技术的发展史，从开始的在机器学习领域的人工提取特征（特征工程），到设计深度神经网络，最后介绍神经架构搜索Neural Architecture Search, NAS，并重点在介绍NAS，从NAS的构成，不同方法的代表模型，到各个模型在CIFAR10和ImageNet数据集上的表现的汇总，最后对NAS的未来进行了讨论。
(顶刊)神经结构搜索的综述（关于NAS的一篇非常好的综述）
大模型天花板
03-22 1万+
A Survey on Neural Architecture Search 1.摘要 神经网络架构的搜索和深度学习一样近些年变成了一个相当热门的领域。深度学习方面的很多进步都源于NAS(Neural Architecture Search)的进步。深度学习非常耗时，且需要丰富的领域知识才能很好地用它。 在这篇论文里，讨论了基于强化学习，进化算法，代理模型等NA优化算法。还讨论了该领域的一些新研究，包括考虑约束，多目标，数据增强，优化器和激活函数搜索。 2.介绍 这里作者提到，搜索合适的神经网络体系结构任务
NAS 论文笔记：NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search
Vector quantity 的博客
09-10 1786
NSGANetV2：进化的多目标代理辅助神经体系结构搜索 这篇论文提出了一个高效的NAS算法，用于生成在多个竞争目标下具有竞争力的特定任务。 包含两个代理模型： （1）一个在体系结构级别，来提高的效率。 （2）一个在权重级别，通过超网，来提高梯度下降的训练效率。 1. 简介 神经体系结构搜索（NAS）尝试自动执行神经网络架构搜索过程，以找到给定数据集的良好体系结构。 人们希望使用NAS在自定义非标准数据集上获得高性能模型，优化可能的多个竞争目标，并在没有现有NAS方法繁重的计算负担的情况..
华中科大提出EAT-NAS方法：提升大规模神经模型搜索速度
weixin_33767813的博客
01-27 261
神经模型搜索（Neural Architecture Search，NAS）是一种自动化的模型结构搜索方法，旨在代替深度学习专家选择最优的网络模型结构。传统的NAS方法都是针对小规模数据库设计的，直接迁移到大型数据库上无法保证模型的预测效果。针对这一缺陷，华中科大与地平线合作提出了一种针对大规模NAS问题的弹性结构迁移方法EAT-NAS，该方法大大加快了在如ImageNet这种大型数据库上的搜索进...
（2023，NAS & 进化算法 & 解释）用于少样本学习的神经微调搜索
最新发布
qq_44681809的博客
09-11 886
少样本域自适应的一个重要方法是对精心设计的自适应架构进行微调。那么，如何设计最优的自适应策略？本文提出 “神经微调搜索”，这是一种新颖的 NAS 算法，它可以找到基于梯度的小样本学习的最佳适应架构。
【AutoML】进化算法如何用于自动模型搜索(NAS)
hacker_long的专栏
06-18 1816
大家好，欢迎来到专栏《AutoML》，在这个专栏中我们会讲述AutoML技术在深度学习中的应用，这一期讲述进化算法用于模型搜索的基本概念和流程。作者&编辑 | 言有三一直以来，网...
论文阅读-基于EA的NAS
qq_38205273的博客
01-29 672
hello，这是鑫鑫鑫的论文分享站，今天分享的文章是Large-Scale Evolution of Image Classifiers，这是一篇将进化算法应用于NAS的论文，我们一起看看吧~ 摘要 神经网络已被证明能有效地解决困难的问题，但设计它们的体系结构是很有挑战性的，即使仅仅对于图像分类问题也是如此。我们的目标是尽量减少人类的参与，所以我们采用进化算法来自动发现这样的网络。尽管有重要的计算要求，我们表明，现在有可能发展模型的精度在去年公布的范围内。具体来说，我们采用了前所未有的简单进化技术来发现.
【论文笔记】AutoML: A survey of the state-of-the-art（下篇）
一个苦逼研究僧的博客
10-25 1108
论文笔记，AutoML:A Survey of the state-of-the-art，下篇
如何打造自动驾驶的数据闭环
fishmai的专栏
09-20 3953
最近自动驾驶和数据闭环结合在一起，原因是自动驾驶工程已经被认可是一个解决数据分布“长尾问题”的任务，时而出现的corner case（极端情况）是是对数据驱动的算法模型进行升级的来源之一，如图所示。构成这个自动驾驶数据闭环的核心技术和模块都有哪些呢？首先是这个自动驾驶的算法和模块是数据驱动的，其次源源不断的数据需要有合理有效的方法去利用。如图是Tesla众所周知的Autopilot数据引擎框架：确认模型误差、数据标注和清洗、模型训练和重新部署。这是谷歌waymo报告提到的数据闭环平台：其中有数据挖掘、主动学
进化神经结构搜索综述
csdndevpress0035的博客
08-09 374
对目前ENAS方向的论文中涉及的进化算法各阶段常见方法进行整理总结。
NAS论文笔记——Large-Scale Evolution of Image Classifiers
菜到怀疑人生的博客
07-12 3609
文章目录论文工作进化算法算法过程简介基因编码变异初始化权重继承实验及其结果影响算法运行的两个超参数 论文工作 论文对进化算法进行了改动，使其可以用于NAS(神经网络架构搜索)，算法对于计算资源要求较高。算法一开始从没有任何卷积的最简单的模型开始进化，与之前看过的论文不同的是，神经网络架构没有固定的网络深度（意味着搜索空间进一步扩大，算法运行时间长） 进化算法 算法过程简介 改进的进化算法主要有...
让算法解放算法工程师——NAS 综述
duanyajun987的博客
04-04 1647
1. NAS 综述 AutoML（automated machine learning）是模型选择、特征抽取和超参数调优的一系列自动化方法，可以实现自动训练有价值的模型。AutoML 适用于许多类型的算法，例如随机森林，gradient boosting machines，神经网络等。 机器学习最耗费人力的是数据清洗和模型调参，而一般在模型设计时超参数的取值无规律可言，而将这部分过程自动化...
(JMLR-2019)NAS综述鼻祖-神经架构搜索：一项调查
顾道长生的科研笔记
01-07 1268
过去几年，深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显着进步。这一进展的一个关键方面是新颖的神经架构。目前使用的架构大多是由人类专家手动开发的，这是一个耗时且容易出错的过程。正因为如此，人们对自动化神经架构搜索方法越来越感兴趣。搜索空间搜索策略和性能评估策略。关键词：神经架构搜索、AutoML、AutoDL、搜索空间设计、搜索策略、性能估计策略。
图解高效神经网络结构搜索（ENAS）
小白学视觉
11-30 654
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文翻译自：[Illustrated:EfficientNeuralArchitectureSearch]https://towardsdatascience.com/illustrated-efficient-neural-architecture-search-5f7387f9fb6（需要翻墙)前 言针对于不同的任务，比如...
论文阅读-基于遗传算法的NAS
qq_38205273的博客
01-28 1414
hello，这是鑫鑫鑫的论文分享站，今天分享的文章是Genetic CNN，这是一篇将标准遗传算法应用于NAS的论文，我们一起看看吧~ 基础知识： 遗传算法：模仿生物进化的过程。传统的遗传算法往往具有下列步骤： 定义个体的基因编码方案 初始化种群 衡量个体生存竞争能力的适应度（通常是一个函数，函数值表示个体的生存竞争能力） 淘汰适应度低的个体，选择适应度高的个体构成种群下一代的成员（选择） 按一定概率对下一代成员进行基因的交叉与变异（交叉与变异），产生新个体的基因编码方案 评估新种群的适应度 摘要 .
谷歌大脑AutoML最新进展：用进化算法发现神经网络架构
人工智能学家
03-18 4616
来源：AI中国大脑的进化进程持续已久，从5亿年前的蠕虫大脑到现如今各种现代结构。例如，人类的大脑可以完成各种各样的活动，其中许多活动都是毫不费力的。例如，分辨一个视觉场景中是否包含动物或建筑物对我们来说是微不足道的。为了执行这些活动，人工神经网络需要专家经过多年的艰难研究仔细设计，并且通常需要处理一项特定任务，例如查找照片中的内容，称为遗传变异，或帮助诊断疾病。理想情况下，人们会希望有一个自动化的
一文详解神经网络结构搜索（NAS）
热门推荐
AI 研习社的博客
07-16 1万+
本文作者为东北大学自然语言处理实验室 2018 级研究生胡驰，他的研究方向包括神经网络结构搜索、自然语言处理。雷锋网 AI 科技评论经作者授权发表本文章。 近年来，深度学习的繁荣，尤其是神经网络的发展，颠覆了传统机器学习特征工程的时代，将人工智能的浪潮推到了历史最高点。然而，尽管各种神经网络模型层出不穷，但往往模型性能越高，对超参数的要求也越来越严格，稍有不同就无法复现论文的结果。而网络结构作为...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值