DARTS论文阅读
DARTS论文阅读搜索空间连续松弛与优化
传统的NAS不适合小微实验室,DARTS提供了一种新的思路——利用梯度下降算法来进行模型结构搜索。
一,网络的结构用有向无环图表示。
二,引入了一个简单的搜索空间连续松弛方案,从而为体系结构及其权重的联合优化提供了一个可微学习目标
三,最后,提出了一种近似技术,使算法在计算上可行和有效
搜索空间
搜索一个计算单元作为最终体系结构的构建块。一个计算单元是由N个节点的有序序列组成的有向无环图。
上图为一个计算单元的表示(以三个节点为例)。其中,o(i,j)表示节点i,
原创
2020-07-31 12:23:09 ·
1007 阅读 ·
0 评论