MixPath：基于权重共享的神经网络搜索统一方法

©PaperWeekly 原创 · 作者｜陆顺

学校｜中科院计算所硕士

研究方向｜神经网络架构搜索

论文标题：MixPath: A Unified Approach for One-Shot Neural Architecture Search

论文链接：https://arxiv.org/abs/2001.05887

代码链接：https://github.com/xiaomi-automl/MixPath

本方法拓展了现有神经网络搜索中的权重共享（One-Shot）路线，打破了只能搜单路径模型的限制，支持多路径搜索空间。方法采用多路径激活训练一个超网（supernet）的方式，从而对多路径子网进行性能评估，已有的单路径方法  SPOS、FairNAS 因此成为该方法的特例。

本文证明了多路径超网在多路激活下的特征幅度关系，推测其可能导致了多路径超网训练不稳定性。基于此，本文提出使用影子批正则化（Shadow BN, SBN）来对多路径激活的特征进行“如影随形”的正则化，实验证明其能够有效缓解训练不稳定性。

本文进一步用实验证明 Shadow BN 可以提高多路径超网对多路径子网的排序能力（ranking），而且作用于训练过程的 Shadow BN 可以与训练后的 BN 校准相结合，能够进一步提升超网的排序能力，在 NAS-Bench-101 子集上达到的 Kendall Tau 值为 0.597。

该方法搜索出来的轻量级模型，准确率达到业界领先水平，其中 MixPath-B 在 ImageNet 上达到 77.2%。

研究动机

多路径模型可以更好地平衡性能和计算消耗（Inception，ResNeXt）。当前不含先验的神经网络架构搜索方法，缺乏一种和 FairDARTS 多路径方式对偶的搜索方式（Fig 2）。

在分两阶段的权重共享方法中，训练超网是为了保证其对子模型的排序能力，即能够分辨子模型的优劣。

使用传统的单个 BN 训练多路径超网，训练过程并不稳定，模型排序能力也比较弱（Fig.3.b 蓝绿两种方法预测出的准确率区间在 0-0.2），因而需要一种方法能够提高多路径超网的训练稳定性和排序能力。