LXMERT:Learning Cross-Modality Encoder Representations from Transformers

LXMERT:Learning Cross-Modality Encoder Representations from Transformers

视觉-语言推理需要理解视觉概念、语言语义，最重要的是，理解两种模态之间的一致性和关系。

解决问题

针对视觉和语言模态对的大规模预训练和微调的模型。

研究方法和创新点

作者以BERT模型为基础，同时进一步适应于跨模态场景。该跨模态模型专注于学习视觉和语言的交互，特别是对于单个图像及其描述性句子的表示。它由三个Transformer编码器组成，一个对象关系编码器、一个语言编码器和一个跨模态编码器。为了更好的学习视觉和语言之间的跨模态对齐，用五个不同的任务来预训练模型。(1) masked cross-modality language modeling, (2) masked object prediction via RoI-feature regression, (3) masked object prediction via detected-label classification, (4) cross-modality matching, and (5) image question answering。

流程和模块：

模型输入：图像及其相关句子。其中每个图像都表示为一个对象序列，每个句子都表示为一个单词序列。

输入嵌入层

输入嵌入层将输入（图像和句子）转换为两个特征序列（单词句子嵌入和对象图像嵌入）。

编码器

语言编码器、对象关系编码器、交叉模态编码器

训练和损失函数

1、Language Task:Masker Cross-Modality LM掩蔽的跨模态语言模型。
2、Vision Task:Masked Object Prediction——负对数似然函数
RoI-Feature Regression——L2loss
Detected-Label Classification——cross-entropy loss
3、Cross-Modality Tasks
Cross-Modality Matching
Image Question Answering(QA)

预训练数据集

实验结果

消融实验