论文笔记：NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search

最新推荐文章于 2024-06-14 09:35:41 发布
最新推荐文章于 2024-06-14 09:35:41 发布
阅读量1.1k 收藏 2
点赞数 1
分类专栏： NAS 文章标签： 深度学习 神经网络 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41246963/article/details/107907163
版权
本文介绍了NSGANetV2，一种采用双层代理模型的多目标神经网络架构搜索方法，提升了搜索效率。研究中，架构和权重层面均使用代理模型，搜索空间包含IBN模块的卷积核大小和膨胀率。实验结果显示，NSGANetV2在效率上比NSGANet提高约5倍，CIFAR-10数据集上找到的结构精度高达98.4%，优于许多主流算法且复杂度更低。
摘要由CSDN通过智能技术生成

@论文笔记：NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search

动机

本文提出一种基于双层代理模型的多目标神经网络架构搜索方法，在架构层级和权重参数层级都使用了代理模型，提高了搜索效率。

  • 算法框架示意图：包括两层代理模型的使用
    算法框架
  • 搜索空间的定义：主要用的是IBN模块，搜索的参数是卷积核大小和膨胀率。
    搜索空间
  • 算法伪代码以及实验效果展示
    在这里插入图片描述
  • 不同代理模型的近似效果，四种代理模型分别是MLP，CART， GP， RBF 和四种集成的一个处理（AS）。结论可以看到，没有一种代理模型在所有任务上都取得最好的效果。

在这里插入图片描述

  • 搜索效率的比较<
最低0.47元/天 解锁文章
Andrew Sun
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NAS 论文笔记：NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search
Vector quantity 的博客
09-10 1574
NSGANetV2：进化的多目标代理辅助神经体系结构搜索 这篇论文提出了一个高效的NAS算法，用于生成在多个竞争目标下具有竞争力的特定任务。 包含两个代理模型： （1）一个在体系结构级别，来提高的效率。 （2）一个在权重级别，通过超网，来提高梯度下降的训练效率。 1. 简介 神经体系结构搜索（NAS）尝试自动执行神经网络架构搜索过程，以找到给定数据集的良好体系结构。 人们希望使用NAS在自定义非标准数据集上获得高性能模型，优化可能的多个竞争目标，并在没有现有NAS方法繁重的计算负担的情况..
NAS论文笔记：代理模型篇：NSGA Net V2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Sear
Vector quantity 的博客
09-23 2604
写这个博客，主要是想做一下这方面的工作，想要使用代理模型来提高NAS效率。 运用代理模型求解优化问题是优化领域的一个重要思想，该思想是： （1）将一个复杂的函数通过采集特征点构造一个相对简单的新的函数，我们称之为代理模型。 （2）再对代理模型进行优化求得最优解。 （3）由于该代理的模型只能一定程度上代表真实模型，它到最优解并不能直接代表原目标函数的最优解，所以需要对代理模型进行更新. （4）通常是以一定的判据来重新采点，重新构造代理模型，直到满足收敛条件，便停止对代理模型的更新，所得的最优解即视为
架构搜索文献笔记（3）：《NSGANetV2：进化的多目标替代辅助的神经体系结构搜索》
Hankerchen的博客
06-30 700
论文《You Only Search Once: A Fast Automation Framework for Single-Stage DNN/Accelerator Co-design》-2021** 一、摘要 摘要—DNN/加速器协同设计在提高质量R和性能方面具有巨大的潜力。典型的方法将设计流程分为两个阶段： （1）设计一个精度最高的特定于应用程序的DNN模型； （2）考虑DNN特定特性构建加速器。虽然人们致力于提高DNN的准确性做出了重大努力；在构建一个特定的基于神经网络的系统时，它在承诺结合精度
推荐文章：探索神经架构搜索新境界 —— NSGANetV2
最新发布
gitblog_00093的博客
06-14 351
推荐文章：探索神经架构搜索新境界 —— NSGANetV2 项目地址:https://gitcode.com/mikelzc1990/nsganetv2 在当今的机器学习领域，神经网络架构的设计是一个至关重要的环节，它直接影响到模型的性能与效率。而手动设计顶级架构既耗时又费力，因此，自动化的神经架构搜索（NAS）工具应运而生。其中，NSGANetV2 正是这样一个革命性的工具，它将进化算法与多目标...
Generalizing Surrogate-Assisted Evolutionary Computation
Geek-C
10-29 706
title: Generalizing Surrogate-Assisted Evolutionary Computation 算法简介 A.集成模型     不完善的代理模型会造成"curse of uncertainty"(不确定性的诅咒)。本文作者追求可以找到能够针对不同问题生成可靠的适应度预测的代理模型。     有些问题，我们无法提前知道那种适应度近似技术是最适合当前的优化问题，所以考...
论文笔记：NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm
flyminnnnn的博客
07-02 4949
NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm 来源：paper, code, MSU, GECCO-2019, first Submitted on 8 Oct 2018 词汇： Words Meaning genetic algorithm 遗传算法 mutation...
Multi-Objective Reinforced Evolution in Mobile Neural Architecture Sea阅读笔记[【小米chu第二篇论文】
一个混子&菜鸡的博客
04-15 638
Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search 论文原文下载地址：https://arxiv.org/abs/1901.01074 PS:其实我自己也有很多地方没有看懂，但是因为写了这个就想着发出来保存一下，不至于丢失。仅供参考。 摘要 1.利用了EA与RL的多目标算法MoreMNAS 2...
NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted
03-13
《NSGANetV2：进化多目标代理辅助神经架构搜索》 神经架构搜索（NAS）是深度学习领域中的一种重要技术，旨在自动化寻找最优的计算机视觉模型架构。然而，传统的基于进化计算（EC）的NAS方法往往计算成本高昂，且...
Evolutionary Multi-objective Optimization with Robustness Enhancement
02-11
Over recent years, multi-objective optimization evolutionary algorithms have demonstrated the success in solving multi-objective optimization problems. However, most of them do not consider ...
An Opposition-based Repair Operator for Multi-objective Evolutionary Algorithm in Constrained Optimization Problems
02-22
In this paper, we design a set of multi-objective constrained ... In addition, we integrate the proposed repair operator into two classical multi-objective evolutionary algorithms MOEA/D and NSGA-II.
Evolutionary multi-objective blocking lot-streaming flow shopscheduling with interval processing time
02-07
2. **进化多目标优化算法**：设计了一种新型的进化多目标优化算法，该算法利用非支配解和父代之间的差异来改进交叉操作，并采用理想点辅助局部搜索策略来增强算法的探索能力。 - **交叉操作改进**：利用非支配解和...
A novel multi-objective particle swarm optimization with multiple search strategies
02-09
Recently, multi-objective particle swarm optimization (MOPSO) has shown the effectiveness in solving multi-objective optimization problems (MOPs). However, most MOPSO algorithms only adopt a single ...
pytorch利用resnet50实现cifar10准确率到95%以上
scarecrow_sun的博客
08-14 1万+
目录前言代码 前言 因为课程需要，老师要求使用resnet18或者resnet50将cifar10训练到精度到达95%，试过了网上其他很多方法，发现精度最高的是在预处理化的时候，图片resize到32,32，并且padding=4进行填充，并且优化器用SGD，准确率最高，但是准确率最高也是到88.8%。后来和上课的同学讨论，发现先将图片resize到(224,224)再进行翻转等操作可以稳定实现超过95%的准确率。 代码 废话不多说，直接上代码 注：因为CPU训练速度太慢了，尤其是将图片拉到224,224这
论文研读-多目标优化中的多源选择迁移框架
遗世独立的乌托邦
06-26 3897
论文研读-多目标优化中的多源选择迁移框架 Multisource Selective Transfer Framework in Multiobjective Optimization Problems 觉得有用的话,欢迎一起讨论相互学习~ 此篇文章为 J. Zhang, W. Zhou, X. Chen, W. Yao and L. Cao, "Multisource Selective Transfer Framework in Multiobjective Optimization Problem
神经网络架构搜索（Neural Architecture Search）杂谈
世事难料，保持低调
12-02 7万+
机器学习从业者被戏称为“调参工”已经不是一天两天了。我们知道，机器学习算法的效果好坏不仅取决于参数，而且很大程度上取决于各种超参数。超参数的自动搜索优化是一个古老的话题了。深度学习前它主要针对传统机器学习算法的参数，比较经典的方法有random search, grid search，Bayesian optimization，Reinforcement learning, Evolutionar...
中科院aibench_【NeurIPS 2019】7篇自动化神经网络搜索(NAS)论文简读
weixin_28835583的博客
01-15 423
Real-time Federated Evolutionary Neural Architecture Search (Zhu and Jin. 2020) https://arxiv.org/abs/2003.02793BATS: Binary ArchitecTure Search (Bulat et al. 2020) https://arxiv.org/abs/2003.01711ADW...
多目标优化算法（一）NSGA-Ⅱ（NSGA2）
热门推荐
晓风
09-28 26万+
多目标优化算法（一）NSGA-Ⅱ 0.前言 这个算法是本人接触科研学习实现的第一个算法，因此想在这里和大家分享一下心得。 1. 算法简介 NSGA-Ⅱ算法，即带有精英保留策略的快速非支配多目标优化算法，是一种基于Pareto最优解的多目标优化算法。 1.1 Pareto支配关系以及Pareto等级 Pareto支配关系：对于最小化多目标优化问题，对于n个目标分量 fi(x),i=1...nf_i(...
NSGA-II in MATLAB 源码中文注释（1）
fistomina的博客
03-27 1万+
这里用到的源码是从https://cn.mathworks.com/matlabcentral/fileexchange/10429-nsga-ii--a-multi-objective-optimization-algorithm 下载的，网上搜到说这个比较好，看了看挺简洁的，注释也很全面，自己一边看一边把注释都翻译成中文的，分享出来给初学者们一起学习下哈哈。1.主程序function nsga...
MobileNetV2
冷夏的专栏
03-10 1241
参考： https://blog.csdn.net/u011974639/article/details/79199588 一时没太看懂，等搞定了回来补
论文笔记：Generative Adversarial Nets
super_chicken的博客
02-27 612
Generative Adversarial Nets 概念 提出了一种模拟二人博弈的对抗模型，对抗双方分别为： 生成模型G：尽量使生成数据与训练集接近，使D无法区分 判别模型D：学习判断数据来自训练集还是由G产生 本文中用两个多层感知机作为生成模型和判别模型，生成模型加入了随机噪声。 对抗网络 生成模型，在参数Θg条件下根据噪音z生成数据。 判别模型，判断参数Θd条件下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值