推荐一篇近期出来的NAS(神经架构搜索)论文：
Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition
神经架构搜索（NAS）中的一个关键组件是一个精度预测器，可以保证被查询架构的精度。为了建立一个高质量的精度预测器，传统的 NAS 算法依赖于训练大量的架构或一个大的超网。这一步往往要消耗几百到几千天的 GPU，影响总的搜索成本。
本次工作就是为解决上述限制，作者提出一种新型模型复杂度指数：Zen-score 来代替 NAS 中的精度预测器。Zen-score 不是预测模型精度，而是直接确定网络的模型复杂度，并且不需要训练其参数。
基于 Zen-score，又开发一种新的 NAS 算法：Zen-NAS，用于大规模的进化架构搜索。
在半个 GPU day 内，Zen-NAS 自动设计的 ZenNets 在 ImageNet 上实现了高达 83.1% 的top-1 精度，与 EfficientNet-B5 的精度相当。在多个 GPU 平台和移动设备上，Zen-Net 的推理速度比相同或更高精度的 EfficientNets 快数倍。
ZenNAS 中最大的可搜索模型在上面是没有限制的，这也就意味着它可以在 1 个 GPU 日内轻松设计出比本作给出的网络（ZenNet-0.8ms）更大更好的网络。
图 6 中显示，ZenNet-0.8ms 的性能仍然没有饱和的迹象，作者没有探索更大的模型，因为ZenNet-0.8ms 的最终训练已经在 8 台 V100 GPU 工作站上需要一周的时间。换句话说，当使用 ZenNAS 设计高性能模型时，真正的瓶颈是最终建立的架构训练，而不是 ZenNAS 本身。这与传统的 NAS 方法截然不同，NAS 步骤是主要成本。
作者称 Zen-Net 是唯一一个在 ImageNet 上的 Top-1 准确率可以与 EfficientNet-B5 相媲美的网络，同时在 NVIDIA T4 GPU 上速度快 11 倍。
作者 | Ming Lin, Pichao Wang, Zhenhong Sun, Hesen Chen, Xiuyu Sun, Qi Qian, Hao Li, Rong Jin
单位 | 阿里巴巴
论文 | https://arxiv.org/abs/2102.01063
代码 | https://github.com/idstcv/ZenNAS（预计在2021年2月28日之前开放）
END
备注：NAS
AutoML&NAS交流群
自动机器学习、神经架构搜索等技术，
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看，让更多人看到
2731
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
