LXMERT：视觉语言跨模态框架

视觉语言推理要求模型能够理解视觉概念和语言语义，以及两者之间的关系，并将他们对齐。因此，作者提出了LXMERT框架来用学习视觉语言之间的关系。在LXMERT中，作者建立了一个大规模Transformer模型，它有三个编码器：对象关系编码器、语言编码器和跨模态编码器。为了使LXMERT能够将视觉概念和语言语义关联起来，作者利用掩码语言建模、掩码目标预测、跨模态匹配、图像问答等预训练任务，在大量“图像句子对”数据集上对模型进行了预训练。这些任务有助于模型学习模态内部和模态之间的关系。作者对LXMERT的预训练参数进行微调后，发现它在VQA和GQA两个视觉问答数据集上都取得了最先进的结果。作者将预训练好的LXMERT应用到NLVR视觉推理任务上，将最佳结果从54%提升到了76%。最后，作者通过消融实验证明，新型模型组件和预训练策略都对结果有显著贡献。

LXMERT模型：学习视觉语言跨模态表征。

LXMERT模型的预训练过程。

LXMERT在VQA、GQA、NLVR三个数据集上都取得了最先进的结果。

总结

作者提出了一个基于Transfermer编码器和新型跨模态编码器的模型——LXMERT，用于学习视觉和语言之间的关系，然后利用不同任务，在大规模“图像句子对”数据集上对该模型进行了预训练。作者展示了LXMERT在VQA和GQA两个图像问答数据集上的最先进的结果，并在NLVR视觉推理数据集上将最佳结果提高了22%，表明该模型具有良好的泛化能力。作者还通过消融实验证明了新型模型组件和预训练策略的有效性。