![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NAS
favorxin
这个作者很懒,什么都没留下…
展开
-
DARTS+ 论文笔记
DARTS+解决的问题:DARTS[1]的双层优化问题(网络结构与网络参数一起优化)随着训练epoch增加而使得权重耦合和权重之间的互相竞争加剧,使得最终skip-connection的权重越来越高(最终便选择跳跃连接),DARTS+[2]认为这是DARTS训练到最后导致网络性能奔溃(collapse)的原因。跳跃连接过多可能会损害DARTS的性能。DARTS+则旨在解决这个问题,利用早停(e...原创 2019-10-21 19:27:58 · 9024 阅读 · 4 评论 -
Neural Architecture Optimization 笔记
Neural Architecture Optimization 笔记摘要内容方法搜索空间神经结构优化的部分训练和推理实验附录撤销:Ctrl/Command + Z重做:Ctrl/Command + Y加粗:Ctrl/Command + B斜体:Ctrl/Command + I标题:Ctrl/Command + Shift + H无序列表:Ctrl/Command + Shift + ...原创 2019-05-14 19:07:28 · 2720 阅读 · 0 评论 -
Searching for a robust neural architecture in four gpu hours论文笔记
Searching for a robust neural architecture in four gpu hours 笔记摘要内容方法搜索空间通过可微模型采样搜索结构实验摘要本文主要采用了梯度下降法来实现有效的网络结构搜索,将搜索空间用一个有向非循环图DAG(directed acyclic graph)来表示。这个DAG可能有上百万个子图,其中每个子图都是一种神经网络结构,为了避免遍历这...原创 2019-05-28 09:22:56 · 1852 阅读 · 2 评论