2019 VisualBERT: a Simple and Performant Baseline for Vision and Language

摘要

        我们提出VisualBERT，一种建模广泛视觉和语言任务的简单和灵活的框架。VisualBERT包含一些Transformer层的堆叠，这些层隐式的将输入文本和与输入图像相关的区域与自注意力对齐。我们进一步提出了两个基于视觉的语言模型目标来预训练图像标题数据的VisualBERT。在VQA、VCR、NLVR、和Flickr30K这四个视觉和语言任务上的实验表明，VisualBERT优于先进模型，且简单得多。进一步的分析表明，VisualBERT可以在没有任何显式监督的情况下将语言元素接地到图像区域上，甚至对语法关系很敏感，例如跟踪动词和与其论据对应的图像区域之间的关联。

一、介绍

        我们提出的VisualBERT，设计用于捕获图像和相关文本中的丰富语义。它整合了BERT和预训练的对象提案系统如Faster-RCNN。从对象提案中提取的图像特征被视为无序的输入表示，并与文本一起输入到VisualBERT中，文本和图像输入被多个Transformer层共同处理（如图2）。单词和对象提案之间丰富的交互作用使模型能捕捉到文本和图像之间的复杂关联。

        与BERT类似，对外部资源预训练的VisualBERT可以有利于下游应用。为学习图像和文本之间的关联，我们考虑用图像标注数据(其中图像的详细语义用自然语言表示)预训练VisualBERT。我们提出两个基于视觉接地的语言模型进行预训练：（1）部分文本被掩盖，模型根据剩余的文本和视觉上下文学习预测掩码的词；（2）模型被训练以确定所提供的文本是否与图像相匹配。我们表示，这种在图像标注数据上的预训