针对问题:
(1)DARTS搜索空间的高限制性:所有normal cell共享架构、每个节点固定接收两个输入、每条边仅保留一个操作等,这些限制虽然增加了NAS的稳定性,但是也限制了其准确性。
(2)DARTS使用两阶段优化,这种方法带来计算负担,同时梯度估计中的不准确性会严重影响搜索过程。
(3)DARTS在优化超网后会立即对权重低的操作和边进行剪枝,可能会产生离散化错误,尤其是当被修剪的操作和边权重不能保证很小的时候。
解决办法:
(1)扩大搜索空间,减少启发式限制:所有cell可以有不同的架构、每条边可以包含多个操作、每个节点可以接收任意多个其前驱节点的输入、使用逐元素的sigmoid函数代替softmax函数 。这些优化会导致搜索空间急剧增大,为了减少对GPU内存的负担,相应减少总操作个数。
(2)使用一阶段优化同时优化架构参数和权重参数,对于优化器有限优化权重参数的情况,将训练集拆分成两部分,分别优化架构参数和权重参数。
(3)采取资源限制策略渐进剪枝,引入一个值较低的正则化系数并在搜索过程中不断增大,在其增大过程中会降低一些操作和边的权重,当该操作和边对网络精度影响很小时进行剪枝。使用期望浮点计算次数作为正则化项,并引入相应损失函数。
GOLD-NAS论文概要
于 2022-03-05 19:42:53 首次发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)