点击我爱计算机视觉标星,更快获取CVML新技术
8 月 19 日,小米 AI 实验室 AutoML 团队(论文作者:初祥祥、张勃、李吉祥、李庆源、许瑞军)再次展示最新成果 SCARLET,超过 Google Brain 首席科学家 Quoc Le 团队提出的 EfficientNet 同量级模型 (ICML 2019)。
论文:SCARLET-NAS: Bridging the gap Between Scalability and Fairness in Neural Architecture Search
论文提出了具备伸缩功能的自动化神经网络搜索,通过线性等价变换解决了 one-shot 路线中可伸缩超网训练公平性的问题。
本次发布的 SCARLET 系列是直接对标 EfficientNet,在 ImageNet 1k 分类任务中达到 76.9% 的 Top-1 精度,目前是 <390 M FLOPs 量级的 SOTA。
至此,小米 AutoML 团队打造了 FairNAS、MoGA、SCARLET 三部曲,分别超过 Google 顶级团队的 MnasNet、MobileNetV3、EfficientNet。
表 3 展示了与当前 SOTA 模型在 ImageNet 数据集上的对比
SCARLET 线性等价变换如下:
SCARLET在训练Supernet时利用Conv1x1(without Bias/ReLU) + Conv替代Identity + Conv,解决了训练伸缩网络时难以收敛的问题。
引入Conv1x1(without Bias/ReLU) + Conv是一种线性变换,与Identity + Conv等价,具体证明可以查阅论文。
SCARLET 模型结构如下:
论文地址:
https://arxiv.org/abs/1908.06022
模型地址:
https://github.com/xiaomi-automl/SCARLET-NAS
感兴趣的朋友可以查看小米AutoML团队论文列表:
• Chu et al., Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search
https://arxiv.org/abs/1901.01074
• Chu et al., Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Search
https://arxiv.org/abs/1901.07261
• Chu et al., FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search
https://arxiv.org/abs/1907.01845
• Chu et al., MoGA: Searching Beyond MobileNetV3
https://arxiv.org/abs/1908.01314
• Chu et al., ScarletNAS: Bridging the Gap Between Scalability and Fairness in Neural Architecture Search
https://arxiv.org/abs/1908.06022
AutoML-NAS交流群
关注最新最前沿的AutoML-NAS技术,欢迎加入专属交流群,扫码添加CV君拉你入群,(如已为CV君好友请直接私信)
(请务必注明:AutoML)
喜欢在QQ交流的童鞋,可以加52CV官方QQ群:805388940。
(不会时时在线,如果没能及时通过验证还请见谅)
长按关注我爱计算机视觉