FBNetV5——一种面向多任务的高效NAS方法

Paper地址：https://arxiv.org/pdf/2111.10007

前言

网络结构搜索（NAS：Neural Architecture Search），主要的Motivation有两点：

• 针对特定任务与部署平台，设计精度与速度折中最佳的模型结构；
• 实现结构设计或搜索的自动化，减轻人工成本与计算资源开销，以提升生产效率；

但影响NAS方法可泛化、普遍应用的主要原因包括：

• 当前NAS工作主要聚焦于图像分类任务，并认为适用于图像分类的最佳模型，也能成为其他任务（如检测、分割等）的最佳Backbone。然而这一假设有失偏颇，容易导致迁移应用的次优化；
• 有些NAS方法仅优化任务相关的组件，而对其他任务没有助益。例如NAS-FCOS仅对该网络涉及的FPN等组件进行结构优化，但较难应用于其他任务；
• 主流NAS方法都采用Proxyless方式（例如ProxylessNAS、FBNetV1等），需要将NAS集成至目标任务的训练Pipeline当中，因而需要花费较大的Engineering effort。当NAS方法涉及Supernet预训练时，则在不同的目标任务上执行参数共享式训练，存在一定的转换成本；

FBNetV5是沿袭FBNet系列的NAS方法，仅需一次搜索，便能够同时为不同的任务搜索相应的最佳网络结构：

• 针对多任务搜索，主要面向图像分类、目标检测与语义分割这三个CV任务，基于FBNetV3模型构建了超网络。该超网络包含多个并行分支，能够满足多种分辨率、多种网络结构（Vanilla、FPN、UNet等类型）的搜索，以适应不同CV任务对特征计算/抽象的实际需求；<