FBNetV5——一种面向多任务的高效NAS方法

FBNetV5是一种新的网络结构搜索方法,旨在为图像分类、目标检测和语义分割等多任务寻找最优网络结构。通过一次搜索,它能够在不同任务上找到最佳模型,减少了NAS的工程成本。FBNetV5使用多任务预训练搜索和超网络预训练算法,实现了任务之间的解耦。实验结果显示,与现有模型相比,FBNetV5在精度和计算效率上都有显著提升。
摘要由CSDN通过智能技术生成

Paper地址:https://arxiv.org/pdf/2111.10007

前言

网络结构搜索(NAS:Neural Architecture Search),主要的Motivation有两点:

  • 针对特定任务与部署平台,设计精度与速度折中最佳的模型结构;
  • 实现结构设计或搜索的自动化,减轻人工成本与计算资源开销,以提升生产效率;

影响NAS方法可泛化、普遍应用的主要原因包括:

  • 当前NAS工作主要聚焦于图像分类任务,并认为适用于图像分类的最佳模型,也能成为其他任务(如检测、分割等)的最佳Backbone。然而这一假设有失偏颇,容易导致迁移应用的次优化;
  • 有些NAS方法仅优化任务相关的组件,而对其他任务没有助益。例如NAS-FCOS仅对该网络涉及的FPN等组件进行结构优化,但较难应用于其他任务;
  • 主流NAS方法都采用Proxyless方式(例如ProxylessNAS、FBNetV1等),需要将NAS集成至目标任务的训练Pipeline当中,因而需要花费较大的Engineering effort。当NAS方法涉及Supernet预训练时,则在不同的目标任务上执行参数共享式训练,存在一定的转换成本;

FBNetV5是沿袭FBNet系列的NAS方法,仅需一次搜索,便能够同时为不同的任务搜索相应的最佳网络结构:

  • 针对多任务搜索,主要面向图像分类、目标检测与语义分割这三个CV任务,基于FBNetV3模型构建了超网络。该超网络包含多个并行分支,能够满足多种分辨率、多种网络结构(Vanilla、FPN、UNet等类型)的搜索,以适应不同CV任务对特征计算/抽象的实际需求;<
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值