![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NAS架构搜索
NAS架构搜索
一名ai小菜鸡
一名ai小菜鸡的成长之路
展开
-
NAS搜索之DARTS-
NAS搜索之DARTS-动机指出现有算法通过设定阈值使得达到条件,搜索停止,这种方式不大行,指出阈值设置不当,往往得不到好的架构,而且架构本身搜索也存在噪声,通过设置阈值比较困难(感觉在针对darts+)解决方式本文提出了更加直接巧妙的方法,通过设置辅助跳过连接,来确保每个操作公平竞争。原理如图所示,darts-中添加了一个辅助skip,其中可学习参数x1至x5x_1至x_5x1至x5,????为不可学习,且随epoch不断衰减。有两层作用,第一防止梯度消失,类似resnet的skip的作原创 2020-12-25 13:01:06 · 405 阅读 · 1 评论 -
NAS搜索之DARTS+
NAS搜索之DARTS+论文地址[代码地址暂无]出发点随着迭代次数增加,darts性能可能奔溃(本文猜测是由于过拟合造成)最终生成的结构存在过多的skip connect(导致过拟合的产生)本文解决方式设计了一种满足一定条件时,训练提前终止的方案,本文称为early stop。本文创新点提出了两个停止条件,使得darts训练可以提前终止,提高了准确性通过简化成二元分类,证明了为何网络会倾向选择skip connect。证明在论文附录中有,有兴趣可以自己阅读。主要原理和过程原创 2020-12-23 13:27:04 · 320 阅读 · 0 评论 -
NAS搜索之PC-DARTS
NAS搜索之PDARTS论文链接代码链接目的减小DARTS内存和计算开销大的问题创新点通过对网络部分采样减少空间搜索冗余,但是会导致网络边缘选取不一致。利用新加一组边缘预测参数,来进行边缘归一化优势降低了内存,从而可以使用更大batch训练,提升了速度和稳定性主要方法如上图所示:图中第一部分与darts相同依旧是四个节点,每两个节点之间都有n(自己设定)个op操作相连。图中第二部分为本文创新点之一,选取1/k的channel连接搜索块,通过这样可以将搜索参数缩减K倍,剩余1原创 2020-12-21 13:31:32 · 855 阅读 · 0 评论 -
NAS搜索之PDARTS
NAS搜索之PDARTS代码和论文论文地址代码地址文章思想认为浅层网络搜索和深层网络搜索是有差别的,用浅层网络搜到的结构用于深层网络不一定是最好的。方法提出如图所示:论文提供了一种在训练过程中增加由体系结构的方法,通过这样来拟合深度差距。DARTS中是由8cell搜出cell结构,将搜出的结构组合成20个,得到最终结果。PDARTS是在训练过程中,由初始的5cell训练一段时间增加到11cell然后到17cell,最后由17cell搜索得到的cell结构用于组成20cell,得到最原创 2020-12-17 13:04:37 · 522 阅读 · 0 评论 -
NAS搜索之DARTS
NAS架构搜索之DARTS设计思路图中每条不同颜色的线表示一种op操作(conv,poooling,skip connect等),这里有三条代表每两个节点间有三种op操作。图a,代表四个节点和虚线边代表op操作,每个节点间应该选取何种op操作图b,表示初始化所有的op操作,以及连接方式图c,通过梯度训练后,有些变淡的边表示该操作贡献小可去除图d,最终通过softmax选取最大概率边形成最终连接。如何设置成可训练将所有op操作用softmax表示,这样就把离散变成连续的其中x代表f原创 2020-12-12 15:32:51 · 596 阅读 · 0 评论 -
NAS搜索之ENAS
NAS之ENAS论文地址链接代码地址tf链接pytorch链接主要工作Designing Recurrent CellsDesigning Convolutional NetworksDesigning Convolutional Cells操作方式先初始化一个big网络,包括所有连接,通过rnn控制器来预测生成一连串的op连接和op操作,构建子网络训练子网络一段时间据子网络的结果去训练rnn控制器,使得rnn的输出结果能构建更好的子网络不断重复2,3,4De原创 2020-12-10 18:05:02 · 320 阅读 · 0 评论