DARTS算法提出了一种可微的结构搜索方法，通过松弛操作将结构表示连续化，允许使用梯度下降高效地寻找最优网络结构。在多个数据集上的实验表明，该算法在图像分类和语言建模任务上表现出色，且速度比传统非微分搜索技术快得多。算法的核心是寻找最优的building block——cell，由多个节点和操作边构成，最终通过优化α参数来确定网络结构。
核心思想：
此文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同，此文的方法是基于将结构表示的松弛（relaxation），允许使用梯度下降高效搜索架构。在CIFAR-10，ImageNet，Penn Treebank和WikiText-2上进行了大量实验，表明此文的算法擅长于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构，同时比现有技术的非微分搜索技术要快几个数量级。
算法流程：
算法的目标在于找到一个最终结构的building block，作者称之为cell。一个cell由N个节点构成的有向无环图，每个节点x（i）代表一个潜在的表示（如卷积网络中的feature map），每条有向边o（i,j）代表对x（i）进行的转换（例如卷积/池化/zero操作（两节点间没有连接））；并且每个cell有两条输入边和一条输出边，在卷积cell中输入边定义为前两层的输出，recurrent cell中输入边定义为当前步的输入与前一步的状态。Cell的输出是通过对所有中间节点做 reduction operation(例如concatenation) 得到的。其中每个中间节点表达式如下：
最低0.47元/天 解锁文章
扫一扫
456
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
