CVPR 2021 UniT: Multimodal Multitask Learning with a Unifified Transformer

动机
  1. transformer在包括但不限于自然语言、图像、视频和音频在内的广泛领域都显示出巨大的成功。

    前人的研究表明,在大型语料库中训练的transformer在一系列的下游语言任务中学习了强大的表征。在视觉领域中,基于transformer的模型在图像分类、目标检测和全景分割方面取得了非常不错的结果。除了对单个模态建模外,transformer模型在视觉问答等联合视觉和语言推理任务中也表现出很强的性能。

  2. 将transformer应用于跨领域的不同任务。

    尽管将transformer应用于特定领域方面取得了上述成就,但在将transformer应用于跨领域的不同任务方面还没有太多的先验工作。在目睹了transformer的成功之后,各种问题自然产生了:一个transformer模型能否被训练既可以在文本输入做自然语言推理又可以在图像上做目标检测?或一个基于transformer的图像分类器是否也可以挖掘文本隐含信息?总体而言,作为迈向通用智能的一步,是否有可能建立一个同时处理多种领域任务的单一模型?

  3. 以前的工作试图解决其中一些问题,但范围有限:

    • 仅适用于来自单个领域或特定多模态领域的任务;ViT和DETR专注于视觉任务,BERT及其衍生工作只处理语言任务,而VisualBERT、VILBERT等多模态transformer工作只研究视觉和语言的特定多模态领域。

    • 涉及每个任务的特定于任务的微调,而不是在任务之间利用任何共享参数,通常以N个任务的N倍的参数结束,例如,必须用BERT分别微调每个任务的模型。

    • 只从一个领域对相关或相似的任务执行多任务,有时使用硬编码的训练策略;例如,T5只适用于语言领域的任务,而VILBERT-MT只适用于相关的视觉和语言任务。

方法

在这里插入图片描述

提出UniT:统一的Transfomer模型,以同时学习跨领域最重要的任务,从目标检测到语言理解和多模态推理。该模型以图像和/或文本为输入,在视觉感知、自然语言理解和视觉与语言联合识别等多个任务上进行联合训练。UniT由transformer编码器和t

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值