一、简介
之前从没接触过多模态方向,这次和在字节的师兄一起参加了一个VQA相关的比赛,发现基于图像-文本的预训练是一个很火热的领域,比如BLIP,LAVT等。在此基础上,针对VQA Grounding任务不光需要回答问题、还需要进行视觉分割的特点设计了一种双流的视觉-语言交互方法,最终在CVPR2022的VizWiz VQA Grounding赛道取得了第一名的成绩,详细介绍链接如下:
Video:ByteDance&Tianjin University --- Aurora
论文链接: Tell Me the Evidence? Dual Visual-Linguistic Interaction for Answer Grounding
二、比赛介绍
「视觉问答」是通向多模人工智能的一项基础挑战。
一个自然的应用就是帮助视障人群克服他们日常生活中的视觉挑战,如视障群体通过手机镜头捕获视觉内容,再通过语言对镜头中