©PaperWeekly 原创 · 作者|陆顺
学校|中科院计算所硕士
研究方向|神经网络架构搜索
论文标题:MixPath: A Unified Approach for One-Shot Neural Architecture Search
论文链接:https://arxiv.org/abs/2001.05887
代码链接:https://github.com/xiaomi-automl/MixPath
本方法拓展了现有神经网络搜索中的权重共享(One-Shot)路线,打破了只能搜单路径模型的限制,支持多路径搜索空间。方法采用多路径激活训练一个超网(supernet)的方式,从而对多路径子网进行性能评估,已有的单路径方法 SPOS、FairNAS 因此成为该方法的特例。
本文证明了多路径超网在多路激活下的特征幅度关系,推测其可能导致了多路径超网训练不稳定性。基于此,本文提出使用影子批正则化(Shadow BN, SBN)来对多路径激活的特征进行“如影随形”的正则化,实验证明其能够有效缓解训练不稳定性。
本文进一步用实验证明 Shadow BN 可以提高多路径超网对多路径子网的排序能力(ranking),而且作用于训练过程的 Shadow BN 可以与训练后的 BN 校准相结合,能够进一步提升超网的排序能力,在 NAS-Bench-101 子集上达到的 Kendall Tau 值为 0.597。
该方法搜索出来的轻量级模型,准确率达到业界领先水平,其中 MixPath-B 在 ImageNet 上达到 77.2%。
研究动机
多路径模型可以更好地平衡性能和计算消耗(Inception,ResNeXt)。当前不含先验的神经网络架构搜索方法,缺乏一种和 FairDARTS 多路径方式对偶的搜索方式(Fig 2)。
在分两阶段的权重共享方法中,训练超网是为了保证其对子模型的排序能力,即能够分辨子模型的优劣。
使用传统的单个 BN 训练多路径超网,训练过程并不稳定,模型排序能力也比较弱(Fig.3.b 蓝绿两种方法预测出的准确率区间在 0-0.2),因而需要一种方法能够提高多路径超网的训练稳定性和排序能力。