深度解读：小米AI实验室AutoML团队最新成果FairNAS

作者丨子安

学校丨意大利特伦托大学硕士

研究方向丨自动化神经架构搜索

如今的深度学习界，自动化神经架构搜索 （Neural Architecture Search） 正风起云涌，相信不久手工设计将成为历史。刚刚过去的 CVPR 2019 上，标题含有 architecture search 字眼的就有 10 篇，比如 Google Brain 的  MnasNet，NAS-FPN，李飞飞团队 Auto-DeepLab，Facebook 的 FbNet 等，国内也有像中科院和地平线合作的 RENAS、UISEE 的 Partial Order Pruning 等。

由于 NAS 技术的不断革新，目前最新成果已经可以直接在手机端和 IoT 端落地，NAS 对于深度学习工业界产生的影响将是革命性的，并且意义深远。

分类是绝大多数可监督视觉任务的基础，比如分割和检测都用分类的网络做骨干网。正因如此，NAS 界即从 CIFAR-10 开始，目前大家主攻 ImageNet，在各个模型量级不断推陈出新，在分割和检测任务上亦有不俗的斩获 （Auto-DeepLab, NAS-FPN）。

近日，小米 AI 实验室 AutoML 团队刚刚公布了最新研究成果 FairNAS，主打的 ImageNet 1k 分类任务在 MobileNetV2 这个量级已经击败 MIT 韩松团队的 Proxyless mobile （ICLR2019）， Google Brain 的 MnasNet（CVPR 2019） 及 Facebook 的 FBNet （CVPR 2019），是目前最新 SOTA，该团队第一时间也附上了模型及验证代码。

FairNAS 的方法是对 NAS 界 One-Shot 派的继承和发扬。One-Shot 派由 Google Brain 创立，主张权重可共享，从头到尾训练一个超网 （只完整训练一个超网，这也是 One-shot 的命名之义），每个模型是超网的一次采样子模型。这样做的好处是不需要将每个模型进行耗时的训练才知道其表征能力，因此以大幅提升 NAS 的效率著称，目前已成为 NAS 的主流。

但 One-Shot 的前提是假定权重共享是有效的，并且模型能力能够通过这种方式快速及准确的验证。要评估模型能力，就好像给一个班的同学考一场试，用明确的考分来决定谁学习不错，谁学习还薄弱一些，虽然不能完全展示每个学生的能力和优势，但总得需要放在同一个尺度上考量。

目前 NAS 评定模型能力的方式，就好比给各个模型一道相同的考题，考的好的就是好模型，不好的就是差模型。但往往有情况是差模型底子并不差，只是训练不得当，所以结果比较差。或者训练不充分，结果比较差。

这种情况就有点像马太效应，家庭条件好的一代比一代强，条件不好的反而陷入循环困境。所以在训练过程中，给予相同的机会和条件来提升其能力是很重要的。这也是小米