用不匹配的图文对也能进行多模态预训练？百度提出统一模态的预训练框架：UNIMO（ACL2021）...

关注公众号，发现CV技术之美

本文分享 ACL 2021 论文『UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning』，由百度提出统一模态的预训练框架《UNIMO》、用不匹配的图文对也能进行多模态预训练？

详细信息如下：

• 论文链接：https://arxiv.org/abs/2012.15409

• 项目链接：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/text_generation/unimo-text

导言：

       现有的预训练方法要么侧重于单模态任务，要么侧重于多模态任务，不能有效地相互适应。它们只能利用单模态数据(即，文本或图像)或有限的多模态数据(即，图像-文本对)。

       在这项工作中，作者提出了一种统一模态预训练的结构，即UNIMO，它可以有效地适应单模态和多模态的理解和生成任务。利用大规模的自由文本语料库和图像集合来提高视觉和文本理解的能力，并利用跨模态对比学习来将文本和视觉信息对齐到统一的语义空间。在丰富的非成对单模态数据的帮助下，通过允许文本知识和视觉知识在统一的语义空间中相互增强，UNIMO能够学习更多的泛化表示。

       实验结果表明，UNIMO极大地提高了多个单模态和多模态下游任务的性能。

      01      

Motivation

大规模预训练由于其强大的泛化能力和对大规模数据的高效使用，在计算机视觉（CV）和自然语言处理（NLP）领域都受到了广泛关注。近年来，CV领域的一系列基于ImageNet预训练模型极大的推动了各种计算机视觉任务的发展；NLP的预训练模型的涌现，如BERT、RoBERTa、XLNet和UniLM，极大地提高了语言理解和生成能力。

然而，上述研究主要集中于单模态学习，只能有效地应用于单模态（即仅文本或图像）场景。为了适应多模态场景，一系列多模态预训练方法也出现了，如ViLBERT、VisualBERT和UNITER，通过在图像-文本对语料库上进行预训练，大大提高了处理多模态信息的能力。然而，这些模型只能利用有限的图像-文本对语料库，不能有效地适应单模态的场景。

一个更智能的人工智能系统应该能够有效地处理不同形式的信息。网络上有大量不同形式的数据，主要是文本和视觉信息，这两者信息应该可以相互增强，来获得更加完整和丰富的文本和视觉知识。

如上图所示，仅使用图像中的视觉信息很难正确回答问题。然而，如果将视觉信息与描述棒球比赛背景的文本信息联系起来，就很容易确定正确答案。此外，视觉信息也可以使理解文本描述的场景更容易。神经科学的研究表明，人脑中负责视觉的部分可以学习处理其他类型的信息，包括触觉和声音。

受此启发，作者设计了一个统一模态架构U