![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nas
ystsaan
这个作者很懒,什么都没留下…
展开
-
AssembleNet笔记
https://arxiv.org/pdf/1905.13209.pdf connection learning guided evolution 复杂版的slowfast 每个block的输入是多流的(多个subnetwork),包括不同的类型(比如说RGB,光流),不同的时间间隔;每个block多流中的各个module之间的表征连接(连接学习,connectivity learning, co...原创 2020-02-03 16:29:33 · 985 阅读 · 0 评论 -
GeneticNas论文笔记
GeneticNas:有进化搜索的ENAS,带权重共享的网络搜索(把网络中的每个block看成固定数目成分的有向无环图;既然是固定数目的,那只要换换成分即可) ENAS:使用RNN产生新的网络,并使用权重共享 DARTS:使用一个关于梯度的函数来决定如何更新每个连接 GA四要素:selection, cross-over, mutation and replacement;先经过前三个步骤生成新的...原创 2020-04-06 12:35:08 · 224 阅读 · 0 评论 -
最简单的基于遗传算法的Neural Architecture Search(NAS)代码
https://github.com/joeddav/devol 基于遗传算法,对于任意一个神经网络搜索任务,只要能把能够代表搜索空间中所有神经网络的染色体序列(即super graph)给写出来,就能基于这个代码来延申到自己想要构造的神经网络。 Deep Neural Network Evolution的代码理解;通过代码理解该遗传算法比较简单,网络结构基本固定,先是卷积再全连接(整体顺序固定)...原创 2020-04-06 12:28:46 · 810 阅读 · 0 评论 -
EfficientNAS论文笔记
大致流程:使用RNN产生一定数目的候选网络(子网络)-训练候选网络至收敛然后得到一个性能指标-RNN使用性能指标通过policy gradient更新自己的RNN网络参数 与NASNet比较:EfficentNas的训练只用了一块1080Ti训练了16个小时以下,训练时间上比NASNet减少了1000倍;强制候选网络共享权重来减少训练时间,从而每个候选网络不必从零开始训练; 与GeneticNAS...原创 2020-04-06 12:13:35 · 348 阅读 · 0 评论 -
GeneticNas代码理解
总体结构:神经网络-Cell(每个NN含有3个Cell)-DAG(每个Cell含有一个DAG)-block(每个DAG含有5个block) Individual:储存一个DAG中的5个np.asarray([input1index,input2index,op1index,op2index])组成的list和5个(input1,input2,input1index,input2index,op1,...原创 2020-04-06 12:08:05 · 677 阅读 · 2 评论