2019： Unified Vision-Language Pre-training for Image Captioning and VQA

摘要

        本文提出一个统一的视觉-语言预训练模型，（1）可以用于视觉-语言生成或理解任务的微调；（2）使用一个共享的多层transformer网络编码和解码，与许多编码器和解码器使用单独的模型不同。统一的VLP模型在大量的图像-文本对上进行预训练，使用两个任务进行无监督学习：双向和序列到序列(seq2seq)掩码视觉-语言预测，这两个任务的不同之处仅仅在于预测条件的背景。这是利用共享transformer网络中的特定自注意力掩码来控制的。

一、介绍

        视觉语言任务在传统上需要繁琐的特定于任务的特征设计和微调。最近一些关于视觉-语言预训练的模型都不例外地基于transformer的双向编码器表示(BERT)，这些模型使用两阶段的训练方案，第一阶段是预训练，基于大量的图像-文本对的模态内或跨模态关系预测掩码单词或图像区域来学习上下文视觉-语言表示；第二阶段，预训练好的模型被微调以适应下游任务。

        尽管使用不同的预训练好的模型在下游任务上有显著的提升，然而预训练一个单一的、统一的模型仍然具有挑战性，通过微调使该模型普遍适用于视觉-语言任务生成（如图像标注）和理解（视觉问答）。大多现有的预训练模型要么是仅为理解任务开发的，或设计为混合模型，由多个特定模态的编码器和解码器组成，必须单独训练以支持生成任务。如图1，VideoBERT和CBT只对编码器进行预训练，这导致编码器学习到的跨模态表示和解码器生成所需的表示之间的差异，这可能会损害模型的通用性。本文开发一种新的方法来