先对齐再融合，Salesforce Research提出ALBEF，用动量蒸馏进行多模态表示学习！多个下游任务性能SOTA！...

关注公众号，发现CV技术之美

▊ 写在前面

大规模的视觉和语言表征学习在各种视觉语言任务上显示出了良好的提升。现有的方法大多采用基于Transformer的多模态编码器来联合建模视觉token和单词token。由于视觉token和单词token不对齐，因此多模态编码器学习图像-文本交互具有挑战性。

在本文中，作者引入了一种对比损失，通过在跨模态注意前融合(ALBEF)来调整图像和文本表示，从而引导视觉和语言表示学习 。与大多数现有的方法不同，本文的方法不需要边界框标注或高分辨率的图像。为了改进从噪声web数据中学习，作者提出了动量蒸馏，这是一种从动量模型产生的伪目标中学习的自训练方法。

作者从互信息最大化的角度对ALBEF进行了理论分析，表明不同的训练任务可以被解释为图像-文本对生成视图的不同方式。ALBEF在多个下游的语言任务上实现了SOTA的性能。在图像-文本检索方面，ALBEF优于在相同数量级的数据集上预训练的方法。在VQA和NLVR2上，ALBEF与SOTA的技术相比，实现了2.37%和3.84%的绝对性能提升，同时推理速度更快。

▊ 1. 论文和代码地址

Align before Fuse: Vision and Language Representation Learning with Momentum Distillation

论文：https://arxiv.org/abs/2107.07651

代码：https://github.com/salesforce/ALBEF

▊ 2. Motivation

视觉语言预训练(VLP)旨在从大规模图像文本对中学习多模态表示，从而改进下游的视觉语言(V+L)任务。大多数现有的VLP方法(如LXMERT，UNITER，OSCAR)都依赖于预训练过的目标检测器来提取基于区域的图像特征，并使用多模态编码器将图像特征与单词token进行融合。多模态编码器被训练来解决需要共同理解图像和文本的任务，如掩蔽语言建模(MLM)和图像-文本匹配(ITM)。

这个VLP框架虽然有效，但也存在几个关键的限制：

1）图像特征和词嵌入位于它们自己的空间中，这使得多模态编码器学习建模它们的交互具有挑战性；

2）目标检测器标注成本高，计算成本高，因为它在预训练需要边界框标注，在推理过程中需要高分辨率（例如600×1000）图像；

3）广泛使用的图像-文本数据集是从web中收集而来的，具有固有的噪声，现有的预训练目标如MLM可能会过度适应噪声文本，降低模型的泛化性能。

作者提出了 ALign BEfore Fuse(ALBEF) ，这是一个新的VLP框架来解决这些限制。作者首先用一个无检测器的图像编码器和一个文本编码器独立地对图像和文本进行编码。然后利用多模态编码器，通过跨模态注意，将图像特征与文本特征进行融合。作者在单模态编码器的表示上引入了一个中间的图像-文本对比(ITC)损失，它有三个目的：

1）它将图像特征和文本特征对齐，使多模态编码器更容易执行跨模态学习；