DARTS: Differentiable Architecture Search

《DARTS: Differentiable Architecture Search》
简介：
可微的方式
我们的方法是基于结构表示的连续松弛，允许使用梯度下降有效地搜索结构。

贡献：
1:介绍了一种适用于卷积结构和递归结构的可微网络结构搜索的新算法。
2:通过对图像分类和语言建模任务的广泛实验，我们发现基于梯度的体系结构搜索在cifar-10上取得了很好的竞争结果。
3:我们实现了显著的架构搜索效率(4个GPU：cifar-10在1天内有2.83%的错误；PTB在6小时内出现56.1的困惑)，我们将其归因于基于梯度的优化a的使用。
4:我们表明，在CIAR-10和PTB上通过DART学习的体系结构可分别传递到ImageNet和WikimText-2。可迁移

2 Differentiable Architecture Search
2.1 Search Space

operation o(i,j)that transforms x(i)

2.2 Continuous Relaxation and Optimization
连续松弛与优化

replacing each mixed operation o¯(i,j) with the most likely operation
最大可能操作代替 混合操作从而得到一个离散的网络结构参数

2.3训练步骤

w和α通过分别在权重和架构空间中的梯度下降步骤之间交替来优化

在训练集上固定alpha矩阵的值，然后梯度下降W矩阵的值，再在验证集上固定W矩阵的值，然后梯度下降alpha的值，循环往复直到这两个值都比较理想

Where:


其中ξ是这个虚拟梯度步骤的学习速率。
他在优化的过程中，不单单是在验证集上简单的梯度下降alpha的值，而是求了一下二阶导，它希望知道能如何下降不仅在当前验证集效果好，而且在训练集的效果也好，这样就可以使原来的网络更好，速度也更快


矩阵向量积难计算,计算有限差分逼近,复杂度下降

genotype结构定义




实验：