BERT在多模态领域中的应用

©PaperWeekly 原创 · 作者｜李明晓

学校｜鲁汶大学博士生

研究方向｜自然语言处理

BERT (Bidrectional Encoder Representations from Transformers) 自提出后，凭借着 Transformer 强大的特征学习能力以及通过掩码语言模型实现的双向编码，其大幅地提高了各项 NLP 任务的基准表现。

鉴于其强大的学习能力，2019 年开始逐渐被用到多模态领域。其在多模态领域的应用主要分为了两个流派：一个是单流模型，在单流模型中文本信息和视觉信息在一开始便进行了融合；另一个是双流模型，在双流模型中文本信息和视觉信息一开始先经过两个独立的编码模块，然后再通过互相的注意力机制来实现不同模态信息的融合。

本文主要介绍和对比五个在图片与文本交互领域应用的 BERT 模型：VisualBert, Unicoder-VL, VL-Bert, ViLBERT, LXMERT。虽然 VideoBert 是第一个将 Bert 应用到多模态的模型，然而其考虑的是视频流和文本因此不在本文的介绍当中。 

以下内容分为两部分，第一部分介绍单流模型，第二部分介绍双流模型。

单流模型

1. VisualBERT 

论文标题：VisualBERT: A Simple and Performant Baseline for Vision and Language

论文链接：https://arxiv.org/abs/1908.03557

源码链接：https://github.com/uclanlp/visualbert

和 BERT 类似，VisualBERT 在结构上采用了堆叠的 Transformer。其在一开始就将文字和图片信息通过 Transformer 的自注意力机制进行对齐融合。

其文字部分的输入为原始的 BERT 文字输入（词向量+位置编码+片段编码）加上 Token/Image 编码来表示其是图片或文字，而图片部分的输入则是采用通过 Faster-RCNN 提取的图片区域特征加上相应的位置编码，片段编码和 Token/Image 编码（如下图右侧所示）。

VisualBERT 遵循 BERT 一样的流程，先进行预训练然后在相应的任务上进行微调，其采用了两个预训练任务：第一个是和 BERT 一样的语言掩码，第二个则是句子-图像预测 （即判断输入的句子是否为相应图片的描述）。

作者在 VQA，VCR，NLVR2 和 Flickr30k 四个视觉语言任务上进行了测试，结果表明 VisualBERT 在四个任务中都达到了最好的表现或和已知最好表现相近的表现。进一步的消融实验表明 VisualBERT 可以有效地学习到语言和相应图像区域的联系，同时也具有一定的句法敏感性。

2. Unicoder-VL