ICLR 2021 | 美团、上交大等：鲁棒的可微分神经网络搜索DARTS-

©PaperWeekly 原创 · 作者｜陆顺

学校｜中科院计算所硕士

研究方向｜神经网络架构搜索

注：该工作由作者在美团实习期间由初祥祥（美团 Mentor，前小米 AutoML 负责人）指导参与。

论文标题：

DARTS-: Robustly Stepping out of Performance Collapse Without Indicators

论文作者：

初祥祥、王晓星、张勃、陆顺、魏晓林、严骏驰

论文链接：

https://openreview.net/forum?id=KLH36ELmwIB

彩蛋：

团队正在招聘实习生，详情见 ：美团视觉智能中心实习生招聘

简介

可微分方法（DARTS）是神经网络架构搜索（NAS）中最流行的方法。现有不少方法都致力于解决性能崩塌的问题，从而提升其稳定性。RobustDARTS [1] 提出了用超网的特征根作为判别是否进入崩塌的标志，而我们在本篇工作发现了反例，即在特征根不断增大的情形下，搜索出的模型性能仍在提升。我们受 FairDARTS [2] 中跳跃连接存在不公平竞争优势的启发，使用了一个额外的跳跃链接（auxiliary skip），简单有效地提升了 DARTS 的鲁棒性，且不使用额外的超参数和指示标志。

研究动机

可微分神经网络搜索（DARTS）存在普遍的性能崩塌，现有提升方法使用了先验知识或用指示信号来判别崩塌是否发生，而计算指示信号非常耗时，我们的出发点是能否不通过人为先验或需要耗费算力的指示信号来解决该问题。

创新和贡献

1. 我们提出了一种不需要指示信号来提升 DARTS 稳定性的方法，只需要通过增加一个额外的跳跃连接，既能消除不公平竞争优势，也能稳定超网的优化过程。

2. 在 7 种搜索空间和 3 种数据集上进行了实验，来验证本方法的鲁棒性。

3. 本方法可以与其他 DARTS 的变体方法相结合。去掉人为先验后，在 CIFAR-10 数据集上本方法可分别将 P-DARTS [3] 和 PC-DARTS [4] 准确率再提升 0.8% 和 0.25%。