Noisy DARTS：含注入噪声的可微分神经网络搜索

©PaperWeekly 原创 · 作者｜张恩智

单位｜日本立命馆大学信息与工程硕士

研究方向｜自动化机器学习

论文链接：http://arxiv.org/abs/2005.03566

源码链接：https://github.com/xiaomi-automl/NoisyDARTS

背景介绍

最近几年的深度学习领域，AutoML 技术即自动化机器学习技术，正引领着整个领域发生着日新月异的变化，自动化技术正在成为各个深度学习算法方向必不可少的标准技术。

而作为 AutoML 的核心技术自动化神经网络构架搜索 NAS (Neural Architecture Search)，也在近期的各种国际会议上大放异彩，比如 ICLR 的为 NAS 主题举办了第一届 workshop，其中 Google Brain的Quoc V. Le 发表了一小时的关于神经网络自动化未来的看法。

目前 NAS 方法已经存在非常多，其中 DARTS [2] 方法，即可微分结构搜索（Differentiable Architecture Search），是格外引起广大研究从业人员关注的一种方法。

针对每层神经网络不同的操作，DARTS 为每种操作分配权重，然后在向后梯度传递的时候更新这些权重，最后对这些权重采用 softmax 方法选择出唯一路径。

由于 DARTS 的可复现性不高，也遭到了不少研究者和从业人员的质疑，主要集中在，[1] 训练过程中存在 skip-connection 富集现象，导致最终模型出现大幅度的性能损失问题 [2] softmax 离散化存在很大 gap，结构参数最佳的操作和其他算子之间的区分度并不明显，这样选择的操作很难达到最优。

针对这两个问题，小米实验室 AutoML 团队的研究者（作者：初祥祥、张勃等）提出了他们的最新研究成果 NoisyDARTS，通过向 skip-connection 注入噪声的方法，来抵消由于不公平竞争而导致的富集和性能损失问题，并且在 CIFAR-10 和 ImageNet 上分别取得了 97.61% 77.9% 的 SOTA 结果。

其实早在其之前的工作 FairDARTS [1] 中，就通过使用 sigmoid 函数而不是 softmax 函数来解决富集和性能损失问题。

他们认为，softmax 使不同操作之间的关系变为竞争关系，由于 skip connection 和其他算子的加和操作形成残差结构，这就导致了 skip connection 比其他算子有很大的优势，这种优势在竞争环境下表现为不公平优势并持续放大，而其他有潜力的操作受到排挤，因此任意两个节点之间通常最终会以 skip connection 占据主导，导致最终搜索出的网络性能严重不足。

而 FairDARTS 通过 sigmoid 使每种操作有自己的权重，这样鼓励不同的操作之间相互合作，最终选择算子的时候选择大于某个阈值的一个或多个算子，在这种情形下，所有算子的结构权重都能够如实体现其对超网性能的贡献，而且残差结构也得以保留，因此最终生成的网络不会出现性能崩塌，从而避免了原生 DARTS 的 skip-connection 富集而导致的性能损失问题。

新作 NoisyDARTS 是在 FairDARTS 基础上的推论，既然 skip connection 存在不公平优势，那么对其注入噪声即可干扰其优势，抑制其过度发挥，从而解决 skip connection 富集现象。

这是一个简单优雅但又极为有效的方法。NoiseDARTS 从数学推导上回答了，实际操作的时候应该注入怎样的噪声，以及注入噪声对网络有何影响，实验部分也符合推理。

方法

通过加注噪声来增强训练的方法在深度学习领域早已有很多应用，比如 Vincent et al. [1] 通过加注噪声使得自编码器提取稳健（rubust）特征；Fortunato et al. [4] 通过随机噪声实现稳定强化学习中的搜索；同时 Neeklakantan et al. [5] 和Zhang et al. [6] 指出，在梯度中注入噪声也可以促进模型的训练。

本节接下来主要回答 NoisyDARTS 关于噪声的的主要两个问题：如何加入噪声？加入怎样的噪声？并且在末尾给出 DARTS 上的具体实现。

首先如何加入噪声：

NoisyDARTS 选择在向前传递的 skip-connection 的输入中加入噪声，如图所示，其中