关注公众号,发现CV技术之美
0
写在前面
本文详细研究了视觉语言(VL)任务中更好的视觉表示,并开发了一种目标检测模型,来提供以对象为中心的图像表示。与最广泛使用的bottom-up and top-down模型相比,新模型更大,更适用于VL任务,并在结合多个公共目标检测数据集的更大训练语料库上进行预训练。
因此,它可以生成更丰富的视觉对象和概念集合的表示。虽然之前的VL研究主要集中在改进视觉语言融合模型,而不涉及目标检测模型的改进,但作者发现视觉特征在VL模型中起着重要作用。
在本文的实验中,作者将新的目标检测模型生成的视觉特征输入到基于Transformer的VL融合模型OSCAR中,并利用改进的方法OSCAR+对VL模型进行预训练,然后在多个下游VL任务中对其进行微调。结果表明,新的视觉特征显著提高了所有VL任务的性能,在多个基准数据集上达到SOTA的结果。
01
论文和代码地址
VinVL: Revisiting Visual Representations in Vision-Language Models
论文地址:https://arxiv.org/abs/2101.00529
代码地址:https://github.com/pzzhang/VinVL
02
Motivation
视觉语言预训练(VLP)已被证明对广泛的视觉语言(VL)任务是有效的。VLP通常包括两个部分:
1)预训练目标检测模型,用于将图像和图像中的视觉对象编码为特征向量;
2)预训练跨模态融合模型,用于混合文本和视觉特征。现有的VLP研究主要集中在改进跨模态融合模型上,而本文着重于改进以对象为中心的视觉表示,并进行了全面的研究来证明视觉特征在VL模型中的重要性 。
在目前的多模态预训练工作中,大多使用的目标检测(OD)模型是在Visual Genome数据集上训练的。OD模型提供了一种以对象为中心的图像表示。在这项工作中,作者预训练了一个基于ResNeXt-152 C4结构(简称X152-C4)的大规模对象属性检测模型。
与以前的OD模型相比,新模型对VL任务进行了专门的设计,并且模型更大,训练的数据量更大,训练的数据结合了多个公共目标检测数据集,包括COCO、OpenImages(OI)、Objects365、Visual Genome (VG)。因此,本文的OD模型在广泛的VL任务上取得了更好的结果,如上表所示。
与其他OD模型(如在OpenImages上训练的X152-FPN)相比,本文的新模型可以对视觉对象和概念的集合进行更精细的编码,如上图中的示例所示(作图为OpenImages上训练的X152-FPN结果,右图为本文模型的结果)。
为了验证新OD模型的有效性,作者在由885万对文本图像组成的公共数据集上预训练了一个基于Transformer的跨模态融合模型OSCAR+,其中这些图像的视觉表示由新OD模型生成,并在OSCAR+预训练期间固定。
然后,通过在广泛的下游任务上微调,包括VL理解任务(如VQA、GQA、NLVR2和COCO文本图像检索)&#