VisualBERT: A Simple and Performant Baseline for Vision and Language

VisualBERT

Architecture

• 网络架构与 BERT 相同。文本部分的处理也与 BERT 相同，下面主要介绍视觉图像部分的处理：设 $F$ 为 visual embeddings 的集合，$f\in F$ 为一个 bounding region 对应的 feature，为如下 3 部分 embedding 的加和：(1) $f_o$: bounding region 对应的 visual feature representation，由 Faster-RCNN 得到；(2) $f_s$: 用于指示一个 embedding 是 image embedding 还是 text embedding 的 segment embedding；(3) $f_p$: position embedding，$f_p$ 只在需要输入 word 和 bounding region 之间的对齐关系时才会被使用 (e.g. 在 VCR 中，数据集提供了 words 和 bounding regions 之间的对齐关系)，它是 bounding region 对应 words 的 position embeddings 之和；如果 visual embedding 维度与 text embedding 不同，则还需要一个全连接层将 visual embedding 投影到与 text embedding 相同的维度

---

Pre-training

• Task-Agnostic Pre-Training: COCO 数据集中的每张图片都有 5 个独立的 captions，VisualBERT 在 COCO 数据集上使用了两个 visually-grounded language model objectives:
  • (1) Masked language modeling with the image: 遮盖一些 word embedding 并要求模型由视觉信息和其他文本信息预测被遮盖的内容
  • (2) Sentence-image prediction. For COCO, where there are multiple captions corresponding to one image, we provide a text segment consisting of two captions. One of the caption is describing the image, while the other has a 50% chance to be another corresponding caption and a 50% chance to be a randomly drawn caption. The model is trained to distinguish these two situations.
• Task-Specific Pre-Training: 在 fine-tune 之前，先在下游任务的数据集上使用 masked language modeling with the image objective 进行预训练，这能帮助模型适应新的 target domain

Experiment

• Experiments on four vision-and-language tasks including VQA, VCR, NLVR2, and Flickr30K show that VisualBERT outperforms or rivals with state-of-the-art models while being significantly simpler.

References

• VisualBERT: A Simple and Performant Baseline for Vision and Language