GeneticNas代码理解

最新推荐文章于 2022-03-14 16:23:14 发布
最新推荐文章于 2022-03-14 16:23:14 发布
阅读量695 收藏 3
点赞数
分类专栏： nas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42388228/article/details/105341338
版权
GeneticNas是一个基于遗传算法的神经网络结构搜索方法。它包含神经网络、Cell、DAG和block等组件。Individual存储DAG配置，MultipleBlockIndividual代表整个神经网络。搜索空间通过ConvNodeModule存储可能的配置，并通过set_individual设置网络结构。遗传算法在搜索空间中进行选择、交叉和变异，以优化网络性能。每个epoch训练一个网络并更新搜索空间，以找到最佳结构。这种方法与DEvol相比，训练效率更高，因为它只训练一个网络并逐步优化整个搜索空间的参数。
摘要由CSDN通过智能技术生成

总体结构：神经网络-Cell(每个NN含有3个Cell)-DAG(每个Cell含有一个DAG)-block(每个DAG含有5个block)

Individual：储存一个DAG中的5个np.asarray([input1index,input2index,op1index,op2index])组成的list和5个(input1,input2,input1index,input2index,op1,op2)tuple组成的list；主要作用存储一个神经网络的一个cell中的DAG的配置
MultipleBlockIndividual：3个Individual组成，代表一个具体的神经网络

ConvNodeModule：存储一个CnnNodeConfig，以及其len(input_list)*5个op(一个CnnNodeConfig存储着一个block中的input_list和CNN_OP=[‘Dw3x3’,‘Identity’,‘Dw5x5’,‘Avg3x3’,‘Max3x3’]，而ConvNodeModule把这些input_list中的每个元素的所有可能的op都添加到nn.Module，以便之后使用requires_grad来激活某些input和op组合来实现一个特定的神经网络)

搜索空间单个神经网络的实现：set_individual
(NN)Net.set_individual：
输入为MultipleBlockIndividual
(-RepeatBlock.set_individuall(输入为MultipleBlockIndividual))
-(Cell)CnnSearchModule.set_individuall：
输入为MultipleBlockIndividual
-(DAG)SubGraphModule.set_individual：
输入为MultipleBlockIndiv

最低0.47元/天 解锁文章
ystsaan
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
神经网络架构搜索NAS原理与代码实战案例讲解
禅与计算机程序设计艺术
05-18 430
1. 背景介绍 1.1 深度学习的局限性 深度学习近年来取得了巨大的成功，在图像识别、自然语言处理、语音识别等领域取得了突破性进展。然而，深度学习模型的设计过程仍然是一个耗时且需要专业知识的任务。深度学习模型的性能很大程度上取决于其架构，而手动设计最佳架构需要大量的实验和专业知识。
论文阅读-基于遗传算法的NAS
qq_38205273的博客
01-28 1310
hello，这是鑫鑫鑫的论文分享站，今天分享的文章是Genetic CNN，这是一篇将标准遗传算法应用于NAS的论文，我们一起看看吧~ 基础知识： 遗传算法：模仿生物进化的过程。传统的遗传算法往往具有下列步骤： 定义个体的基因编码方案 初始化种群 衡量个体生存竞争能力的适应度（通常是一个函数，函数值表示个体的生存竞争能力） 淘汰适应度低的个体，选择适应度高的个体构成种群下一代的成员（选择） 按一定概率对下一代成员进行基因的交叉与变异（交叉与变异），产生新个体的基因编码方案 评估新种群的适应度 摘要 .
GENETIC NAS 代码解读中的坑！！！！
搬砖猛女的啃书历程
09-09 174
！！！！！重点是代码中的block是node 代码中的cell是block！！！ 这一点要注意！！！不然真的很难理解！！！！
神经网络架构搜索（NAS）论文和代码汇总
搬砖猛女的啃书历程
07-15 1949
1.Blockwisely Supervised Neural Architecture Search with Knowledge Distillation（该论文在ImageNet数据集进行训练得到了78.4% top-1 accuracy ，比EfficientNet-B0高了2.1%个点） 作者团队：暗物智能、Monash 大学、中山大学 论文链接：https://arxiv.org/abs/1911.13053 Semi-Supervised Neural Architecture Search
GeneticNas论文笔记
weixin_42388228的博客
04-06 240
GeneticNas:有进化搜索的ENAS,带权重共享的网络搜索(把网络中的每个block看成固定数目成分的有向无环图；既然是固定数目的，那只要换换成分即可) ENAS:使用RNN产生新的网络，并使用权重共享 DARTS:使用一个关于梯度的函数来决定如何更新每个连接 GA四要素：selection, cross-over, mutation and replacement；先经过前三个步骤生成新的...
SOTL_NAS
02-22
SOTL_NAS
virtualhackinglabs靶机 NAS 10.12.1.121
菜浪马废的博客
10-19 819
字符串是密钥
Genetic CNN: 经典NAS算法，遗传算法的标准套用 | ICCV 2017
晓飞的算法工程笔记
04-08 1180
论文将标准的遗传算法应用到神经网络结构搜索中，首先对网络进行编码表示，然后进行遗传操作，整体方法十分简洁，搜索空间设计的十分简单，基本相当于只搜索节点间的连接方式，但是效果还是挺不错的，十分值得学习   来源：晓飞的算法工程笔记 公众号 论文: Genetic CNN 论文地址：https://arxiv.org/abs/1703.01513 Introduction   为了进行神经...
NAS系统创建sh代码计划任务
hotlinhao的专栏
08-25 998
本文介绍如何通过家庭NAS执行计划任务来更新普通宽带的IP地址，以实现外网可以访问NAS的目的。 由于宽带服务商所提供的上网IP地址多为他们的内网IP，外网是无法进行正常访问的，这时候可以打服务商电话让对方将IP换为可公网访问的IP，如果这一步就不到就实现不了。 1. 创建linux下的sh文件：先创一个可以执行curl命令的sh文件 #!/bin/bash function httpRequest() { #curl 请求 info=`curl -s -...
Genetic-CNN-master_CNN_CNN网络_遗传算法cnn_遗传算法_
10-01
为了自动学习深度网络结构，随着网络结构的数量随网络中层数的增加而呈指数增长，这启发我们采用遗传算法来有效地遍历此较大的搜索空间。我们首先提出一种编码方法，以固定长度的二进制字符串表示每个网络结构，然后通过生成一组随机个体来初始化遗传算法。在每一代中，我们定义标准的遗传操作，例如选择，突变和交叉，以消除弱势个体，然后产生更具竞争力的个体。
CNN_Genetic_algorithm:使用GA查找最佳超参数
03-31
CNN_Genetic_algorithm:使用GA查找最佳超参数
遗传神经网络 开源 C 语言,Genetic CNN: 经典NAS算法，遗传算法的标准套用 | ICCV 2017...
weixin_42099176的博客
05-23 335
论文将标准的遗传算法应用到神经网络结构搜索中，首先对网络进行编码表示，然后进行遗传操作，整体方法十分简洁，搜索空间设计的十分简单，基本相当于只搜索节点间的连接方式，但是效果还是挺不错的，十分值得学习来源：晓飞的算法工程笔记 公众号论文: Genetic CNN Introduction为了进行神经网络架构搜索，论文将网络限制为有限的深度，每层为预设的操作，但仍然存在很多候选网络，为了有效地在巨大的...
NAS论文笔记——Genetic CNN
菜到怀疑人生的博客
07-11 4262
文章目录论文主要工作遗传算法简介将遗传算法用于NAS神经网络架构的基因编码方案算法的超参数初始化选择变异与交叉变异交叉评估新种群的适应度算法的流程实验及其结果 论文主要工作 通过遗传算法进行神经网络架构搜索，论文首先提出了一种能表示神经网络架构的编码方案，在此编码方案上初始化种群，对种群进行选择、变异、交叉，从而抛弃性能差的神经网络架构并产生新的神经网络架构，论文将训练好的架构在验证集上的准确率作...
GaitGLN学习笔记（主干网络+代码复现）
Leon_____的博客
02-14 2887
Gait Lateral Network：论文简介+代码复现
【神经网络】(16) MobileNetV3 代码复现，网络解析，附Tensorflow完整代码
博观而约取，厚积而薄发
03-14 1万+
各位同学好，今天和大家分享一下如何使用 Tensorflow 构建 MobileNetV3 轻量化网络模型。 之前我介绍了许多种类的卷积神经网络模型，感兴趣的可以看一下：https://blog.csdn.net/dgvv4/category_11517910.html MobileNetV3 ...
[NAS]Darts代码解析
Moeyinss
04-17 4771
darts论文链接：https://arxiv.org/pdf/1806.09055.pdf darts源码链接：https://github.com/quark0/darts search部分 ''' train_search.py #数据准备（cifar10）。 搜索时，从cifar10的训练集中按照1:1重新划分训练集和验证集 ''' train_transform, valid_tra...
机器学习论文笔记（四）：Genetic CNN（ICCV2017）
weixin_41313407的博客
05-12 3495
机器学习论文笔记（四）：Genetic CNN（ICCV2017）（开荒版） url：https://arxiv.org/pdf/1703.01513 介绍： 这篇文章讲述了如何有传统的遗传算法，生成卷积神经网络，传统的遗传算法可以帮助我们调整参数调，这里我们把网络参数化，通过遗传算法调整我们的DNA序列，然后生成不同的网络结构。好探索我们的网络结构是否可以达到像我们人工设计的网络一样具有高...
开源的NAS软件项目存储
热门推荐
Enweitech Software Works
12-10 1万+
市面上能见到的 NAS 操作系统很多，有如 FreeNAS 这样意气风发的开源免费版，也有完全商业的闭源版本，更有如黑群晖之类的破解版本。NAS 系统的迭代是一个大浪淘沙的过程，活下来的系统在功能上逐渐趋同，这代表了市场的普遍需求。本页旨在汇总开源 NAS 操作系统，为大家 DIY NAS 提供一些参考。   如果Windows、Unix/Linux和Mac提供的简单的文件和打印机共享功能...
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING（NAS）
小白修炼记
09-03 707
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING（NAS） 本文讨论的主要问题是 At the moment, neural networks hard to design ,so we propose a new idea. 这个问题重要吗？为什么 At the present, Designing a good neural netw...
源代码-创意互动网站导航（ASP静态版） v1.0.zip
最新发布
08-24
源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值