EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响

关注公众号，发现CV技术之美

▊ 写在前面

预训练的视觉语言BERT的目标是学习结合两种模态的表征。在本文中，作者提出了一种基于跨模态输入消融诊断方法（cross-modal input ablation） 来评估这些模型实际上整合跨模态信息的程度。

这个方法完全或选择性地消融了来自一种模态的输入，并评估另一种模态上的模型预测性能 。模型的性能是通过反映特定于模态的预训练任务来衡量的（比如，对于文本任务是masked language modelling，MLM)。

理论上，当其中一个模态的输入缺失时，在两种模态上已经学习好的跨模态表示模型的表现会变差。在实验中，作者发现，相比于消融文本信息来预测视觉信息，消融视觉信息来预测文本信息相对来说要困难得多，这表明这些模型的跨模态不是对称的 。

▊ 1. 论文和代码地址

Vision-and-Language or Vision-for-Language? On Cross-Modal Inflfluence in Multimodal Transformers

论文：https://arxiv.org/abs/2109.04448

代码：https://github.com/e-bug/cross-modal-ablation（未开源）

▊ 2. Motivation

视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。然而，尽管它们具有多功能性，但对于这些模型如何使用跨模态信息，我们知之甚少

它们对语言任务的学习表征是否包括视觉信息（vision-for-language)，反之亦然(language-for-vision）？ 目前，我们很难准确地分析这些模型如何使用跨模式信息。

在本文中，作者引入了一种跨模态输入消融（cross-modal input ablation） 方法来量化预训练的模型学习使用跨模态信息的程度。本文的方法不需要额外的训练，通过消融一个模态的信息来预测另一个模态的输出，比较不同消融程度对结果的变化，来探究模态之间的相互作用。