NAS系列
JR_Chan
这个作者很懒,什么都没留下…
展开
-
DARTS源码阅读(持续更新中...)
DARTS DARTS是论文《DARTS: Differentiable Architecture Search》提出的一种可微架构搜索的方法,论文的解读之前发过了,具体可看这里。这里主要是解读一下源码,作者开源的代码在这里,我给fork到我自己的仓库然后对CNN部分加了注释(因为我们主要关注图像方面),有兴趣的可以看一看这里。工具类 首先看一个比较简单的,就是工程中用到的一些工具类的一个库utils.py(可以到我的Github去看具体代码,都加了注释)。主要有几个功能类/函数,包括:求均值(每原创 2020-05-16 23:21:41 · 2795 阅读 · 7 评论 -
《ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware》论文阅读笔记
ProxylessNAS 这篇文章出自著名的MIT Song Han组。正如其名proxyless–没有proxy,也就是想要构建某个数据集在某硬件上的网络就直接在此数据集上进行搜索,并将在对应硬件上的延时作为优化目标,而不是像之前的工作先在CIFAR-10上搜索然后再迁移到ImageNet等大数据集上,这篇文章发表在了ICLR 2019。原文可见ProxylessNAS: Direct Neu...原创 2020-04-15 00:29:32 · 777 阅读 · 0 评论 -
《DARTS: Differentiable Architecture Search》论文阅读笔记
DARTS 这篇文章提出的DARTS可谓是NAS平民化的一个重要节点,后续好多顶会的论文都是据此进行修改的,当然也可能是因为本文的代码开源了,用pytorch也写的不错哈哈。DARTS极大提升了NAS的搜索速度,一个1080Ti跑个一天也就行了,这篇文章发表在了ICLR 2019。原文可见DARTS: Differentiable Architecture Search。摘要 本文通过以可...原创 2020-04-05 23:50:57 · 1853 阅读 · 0 评论 -
《Efficient Neural Architecture Search via Parameter Sharing》论文阅读笔记
ENAS 这篇文章还是出自Google Brain,本文提出的方法极大提升了NAS的搜索速度,不再动辄需要几百个GPU days了,这篇文章发表在了ICML 2018。原文可见Efficient Neural Architecture Search via Parameter Sharing。摘要 1. 引言 2. 相关工作3. 3.1 3.2 4. 方法4.1...原创 2020-03-31 23:01:04 · 828 阅读 · 1 评论 -
《Progressive Neural Architecture Search》论文阅读笔记
PNAS 这篇文章还是出自Google,进一步改善之前发表在AAAI2019的论文《Regularized Evolution for Image Classifier Architecture Search](http://128.84.4.27/abs/1802.01548)》里所提出的方法的搜索速度,而这篇文章则发表在了ECCV 2018。原文可见Progressive Neural Arc...原创 2020-03-26 22:41:03 · 766 阅读 · 1 评论 -
《Regularized Evolution for Image Classifier Architecture Search》论文阅读笔记
AmoebaNet 这篇文章还是出自Google Brain,是对他们之前发表在CVPR2018的论文《Learning Transferable Architectures for Scalable Image Recognition》的进一步改进,而这篇文章则发表在了AAAI 2019。原文可见Regularized Evolution for Image Classifier Archite...原创 2020-03-21 22:06:37 · 588 阅读 · 0 评论 -
《Learning Transferable Architectures for Scalable Image Recognition》论文阅读笔记
NASNet 这篇文章出自Google Brain,是对他们之前发表在ICLR2017的论文《Neural Architecture Search with Reinforcement Learning》的改进,而这篇文章则发表在了CVPR 2018。原文可见Learning Transferable Architectures for Scalable Image Recognition。...原创 2020-03-14 20:56:29 · 524 阅读 · 0 评论