DARTS论文阅读

传统的NAS不适合小微实验室，DARTS提供了一种新的思路——利用梯度下降算法来进行模型结构搜索。

一，网络的结构用有向无环图表示。
二，引入了一个简单的搜索空间连续松弛方案，从而为体系结构及其权重的联合优化提供了一个可微学习目标
三，最后，提出了一种近似技术，使算法在计算上可行和有效

搜索空间

搜索一个计算单元作为最终体系结构的构建块。一个计算单元是由N个节点的有序序列组成的有向无环图。

上图为一个计算单元的表示（以三个节点为例）。其中，o(i,j)表示节点i,与节点j,构成点边上的operation（卷积，池化，正则化等），下一个节点的值是由输入节点计算得到的。

连续松弛与优化

为了使得搜索空间松弛（使每个节点的操作选择不绝对），将特定操作的分类选择放宽到所有可能的操作的Softmax。
其中大写的O表示所有可能的operation的集合。$\alpha$ 表示该条边上所有可能的各自的操作的权重的集合。

然后，NAS的任务简化为学习一组连续变量$\alpha$。
通过agrmax函数，由连续的变量得到离散结构的网络。