DARTS算法总结

DARTS算法提出了一种可微的结构搜索方法,通过松弛操作将结构表示连续化,允许使用梯度下降高效地寻找最优网络结构。在多个数据集上的实验表明,该算法在图像分类和语言建模任务上表现出色,且速度比传统非微分搜索技术快得多。算法的核心是寻找最优的building block——cell,由多个节点和操作边构成,最终通过优化α参数来确定网络结构。
摘要由CSDN通过智能技术生成

 

核心思想:

  此文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同,此文的方法是基于将结构表示的松弛(relaxation),允许使用梯度下降高效搜索架构。在CIFAR-10,ImageNet,Penn Treebank和WikiText-2上进行了大量实验,表明此文的算法擅长于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构,同时比现有技术的非微分搜索技术要快几个数量级。

算法流程:

  算法的目标在于找到一个最终结构的building block,作者称之为cell一个cell由N个节点构成的有向无环图,每个节点x(i)代表一个潜在的表示(如卷积网络中的feature map),每条有向边o(i,j)代表对x(i)进行的转换(例如卷积/池化/zero操作(两节点间没有连接));并且每个cell有两条输入边和一条输出边,在卷积cell中输入边定义为前两层的输出,recurrent cell中输入边定义为当前步的输入与前一步的状态。Cell的输出是通过对所有中间节点做 reduction operation(例如concatenation) 得到的。其中每个中间节点表达式如下:

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值