LXMERT: Learning Cross-Modality Encoder Representations from Transformers 论文笔记

文章下载地址：.

1. 文章概要

视觉 - 语言推理需要对视觉概念、语言语义有一定的理解，尤其还需要能在这两个模态之间进行对齐、找到关系。作者们提出了 LXMERT 框架来学习这些语言和视觉的联系，它含有三个编码器：一个对象关系编码器、一个语言编码器和一个跨模态编码器。为了让模型具备联系视觉和语言语义的能力，使用了 5 个不同的有代表性的预训练任务：（1）掩码交叉模态语言建模；（2）通过ROI特征回归进行掩码目标预测；（3）通过检测到的标签分类进行掩蔽目标预测；（4）交叉模态匹配；（5）图像问题解答。这些多模态预训练既可以帮助学习同一个模态内的联系，也可以帮助学习跨模态的联系。

2. 模型体系结构

上图是作者建立的具有自我注意和交叉注意层的跨模态模型。该模型接受两个输入:一个图像及其相关的句子。通过精心设计和组合这些自我注意和交叉注意层，我们的模型能够生成语言表示、图像表示和跨模式表示。接下来，将详细描述该模型的组件。

2.1 Input Embeddings

在LXMERT中的输入编码层将输入（即图像和句子）转换为两个特征序列：词级句子嵌入和对象级