■ 简介
大规模的视觉和语言表示学习在许多vision-language任务上取得了很大的进步。现有的方法大多用一个以transformer为基础的多模态编码器来联合建模视觉特征和文本特征。
然而,视觉特征和文本特征在语义空间上并不是对齐的,这就导致多模态编码器很难学习图像-文本的交互。本文提出了一种对比损失,能够在图像和文本表示融合之前先将它们对齐。不同于大多现有的方法,ALBEF方法既不需要对图像数据进行标注,也无需高分辨率的图像。为了更好地对噪声数据进行学习,作者还提出了动量蒸馏,能够从动量模型的伪目标中学习。
ALBEF在许多下游vision-language任务上取得了SOTA性能。在图像文本检索任务上,ALBEF取得了比在数量级更大的数据集上进行训练的CLIP和ALIGN更好的效果。在VQA和NLVR^2上,ALBEF相较于SOTA取得了2.37%和3.84%的改进,同时速度也更快。
■ ALBEF基本框架
ALBEF包含一个图像编码器、一个文本编码器和一个多模态编码器。作者将一个12层的视觉transformer ViT-B/16[1]作为图像编码器,并通过在ImageNet-1k上预训练的权重对图像编码器进行初始化[2]。