【学习笔记】DARTS & MiLeNAS

DARTS & MiLeNAS

基于双层优化的可微分的网络结构搜索算法及其改进

DARTS: Differentiable Architecture Search

MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation

DARTS

核心：在连续域中实现对网络架构的搜索

定义Cell为网络中的基本单元，每个Cell结构都是一个有向无环图，对Cell的内部结构进行搜索：

利用softmax对每个候选运算（conv/maxpooling/zero, etc.）求和，对节点(i, j)的操作权值向量α(i, j)参数化：
$${\bar{o}}^{(}i,j)(x)=\sum _{o\in O}\frac{exp({\alpha }_o^{(i,j)})}{{\sum }_{o^{‘}\in O}exp({\alpha }_{o^{‘}}^{(i,j)})}o(x)$$
对于每个节点而言，找到其对应最大的α(i, j)，从而将混合操作替换为对应的操作，即搜索目标为：
$$o^{(i,j)}=argma{x}_{o\in O}{\alpha }_o^{(i,j)}$$
训练过程中，利用loss_train对权重w进行优化，利用loss_valid对结构化参数α进行优化，采用双层优化思想：
$$\begin{gathered} \underset{\alpha }{\min }{\mathcal{L}}_{val}({\omega }^{\ast }(\alpha ),\alpha ) \\ s.t.{\omega }^{\ast }(\alpha )={argmin}_{\omega }{\mathcal{L}}_{train}(\omega ,\alpha ) \end{gathered}$$
伪代码如下：

单步优化时：
$$\begin{gathered} {\nabla }_{\alpha }{\mathcal{L}}_{val}({\omega }^{\ast }(\alpha ),\alpha )\approx \\ {\nabla }_{\alpha }{\mathcal{L}}_{val}(\omega -\xi {\nabla }_{\omega }{\mathcal{L}}_{train}(\omega ,\alpha ),\alpha ) \end{gathered}$$
若令上式中学习率$\xi =0$，则可得到梯度的一阶近似。若$\xi \ne 0$，则为二阶近似，以下对其进行简化求解。

利用链式法则+复合求导可以将之写成如下形式：
$${\nabla }_{\alpha }{\mathcal{L}}_{val}({\omega }^{\prime },\alpha )-\xi {\nabla }_{\alpha ,\omega }^2{\mathcal{L}}_{train}(\omega ,\alpha ){\nabla }_{{\omega }^{‘}}{\mathcal{L}}_{val}({\omega }^{\prime },\alpha )$$
考虑到高阶矩阵乘法的复杂性，令${\omega }^{\pm }=\omega \pm ϵ{\nabla }_{{\omega }^{\prime }{\mathcal{L}}_{val}({\omega }^{\prime },\alpha )}$利用泰勒展开将上式中的后半部分做如下简化：
$${\nabla }_{\alpha ,\omega }^2{\mathcal{L}}_{train}(\omega ,\alpha ){\nabla }_{{\omega }^{\prime }}{\mathcal{L}}_{val}({\omega }^{\prime },\alpha )\approx \frac{{\nabla }_{\alpha }{\mathcal{L}}_{train}({\omega }^{+},\alpha )-{\nabla }_{\alpha }{\mathcal{L}}_{train}({\omega }^{-},\alpha )}{2ϵ}$$

MileNAS

核心：现有的许多网络结构搜索算法都可以表述为双层优化，需要使用二阶近似。本文证明了由这种近似引起的梯度误差会导致次最优性，即优化过程不能收敛到一个（局部）最优解，并提出了一种基于mixed-level的优化方法。

由于(6)式的近似，获得${\omega }^{\ast }(\alpha )$需要对$\alpha$的每次更新重新训练两个网络。于此同时，因为建立在$\omega$的一步近似上，二阶近似具有叠加效应，从而会导致梯度误差和偏离真梯度。

单层优化问题可以描述为：
$$\underset{\omega ,\alpha }{\min }{\mathcal{L}}_{tr}(\omega ,\alpha )=\underset{\alpha }{\min }{\mathcal{L}}_{tr}({\omega }^{\ast }(\alpha ),\alpha )$$
由于$\alpha$只取决于训练数据，直接对上式进行极小值搜索以获得最优的权值和结构参数可能导致对$\alpha$过拟合。

利用正则化的思想，使用${\mathcal{L}}_{val}(\omega ,\alpha )$作为正则项，为(7)式添加约束项，其中$\delta$为常量：
$${\mathcal{L}}_{val}({\omega }^{\ast }(\alpha ),\alpha )\le {\mathcal{L}}_{tr}({\omega }^{\ast }(\alpha ),\alpha )+\delta$$
利用拉格朗日乘子法，将约束条件下(7)式的求解问题转化为如下形式：
$$\begin{gathered} {\omega }^{\ast }(\alpha )=arg\underset{\omega }{\min }{\mathcal{L}}_{tr}(\omega ,\alpha ), \\ \underset{\alpha }{\min }(1-{\lambda }^{\prime }){\mathcal{L}}_{tr}({\omega }^{\ast }(\alpha ),\alpha )+{\lambda }^{\prime }\mathcal{L}({\omega }^{\ast }(\alpha ),\alpha )-{\lambda }^{\prime }\delta , \\ 0\le \lambda \le 1 \end{gathered}$$
对上式进行优化，只需要相应搜索：

$$\underset{\alpha ,\omega }{\min }[{\mathcal{L}}_{tr}({\omega }^{\ast }(\alpha ),\alpha )+\lambda {\mathcal{L}}_{val}({\omega }^{\ast }(\alpha ),\alpha )]$$
$\lambda$为非负的正则化参数，用于平衡训练损失和验证损失的重要性。

使用一阶方法对(10)式进行求解，对权重和结构参数进行训练更新：
$$\begin{gathered} \omega =\omega -{\eta }_{\omega }{\nabla }_{\omega }{\mathcal{L}}_{tr}(\omega ,\alpha ), \\ \alpha =\alpha -{\eta }_{\alpha }({\nabla }_{\alpha }{\mathcal{L}}_{tr}(\omega ,\alpha )+\lambda {\nabla }_{\alpha }{\mathcal{L}}_{val}(\omega ,\alpha ))ha{\mathcal{L}}_{tr}(\omega ,\alpha )+\lambda {\nabla }_{\alpha }{\mathcal{L}}_{val}(\omega ,\alpha )) \end{gathered}$$