AI-多模态-2021：ALBEF

■ 简介

大规模的视觉和语言表示学习在许多vision-language任务上取得了很大的进步。现有的方法大多用一个以transformer为基础的多模态编码器来联合建模视觉特征和文本特征。

然而，视觉特征和文本特征在语义空间上并不是对齐的，这就导致多模态编码器很难学习图像-文本的交互。本文提出了一种对比损失，能够在图像和文本表示融合之前先将它们对齐。不同于大多现有的方法，ALBEF方法既不需要对图像数据进行标注，也无需高分辨率的图像。为了更好地对噪声数据进行学习，作者还提出了动量蒸馏，能够从动量模型的伪目标中学习。

ALBEF在许多下游vision-language任务上取得了SOTA性能。在图像文本检索任务上，ALBEF取得了比在数量级更大的数据集上进行训练的CLIP和ALIGN更好的效果。在VQA和NLVR^2上，ALBEF相较于SOTA取得了2.37%和3.84%的改进，同时速度也更快。

■ ALBEF基本框架

ALBEF包含一个图像编码器、一个文本编码器和一个多模态编码器。作者将一个12层的视觉transformer ViT-B/16[1]作为图像编码器，并通过在ImageNet-1k上预训练的权重对图像编码器进行初始化[2]。