GOLD-NAS论文概要

针对问题：
（1）DARTS搜索空间的高限制性：所有normal cell共享架构、每个节点固定接收两个输入、每条边仅保留一个操作等，这些限制虽然增加了NAS的稳定性，但是也限制了其准确性。
（2）DARTS使用两阶段优化，这种方法带来计算负担，同时梯度估计中的不准确性会严重影响搜索过程。
（3）DARTS在优化超网后会立即对权重低的操作和边进行剪枝，可能会产生离散化错误，尤其是当被修剪的操作和边权重不能保证很小的时候。
解决办法：
（1）扩大搜索空间，减少启发式限制：所有cell可以有不同的架构、每条边可以包含多个操作、每个节点可以接收任意多个其前驱节点的输入、使用逐元素的sigmoid函数代替softmax函数 。这些优化会导致搜索空间急剧增大，为了减少对GPU内存的负担，相应减少总操作个数。
（2）使用一阶段优化同时优化架构参数和权重参数，对于优化器有限优化权重参数的情况，将训练集拆分成两部分，分别优化架构参数和权重参数。
（3）采取资源限制策略渐进剪枝，引入一个值较低的正则化系数并在搜索过程中不断增大，在其增大过程中会降低一些操作和边的权重，当该操作和边对网络精度影响很小时进行剪枝。使用期望浮点计算次数作为正则化项，并引入相应损失函数。