多模态大模型技术演进及研究框架

一、多模态预训练概述

多模态表示包含两个或两个以上事物表现形式

模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。

Transformer颠覆传统模型，但限于单模态领域

2017年Transformer被提出，颠覆了传统的深度学习模型，在机器翻译任务上实现了最好性能。Transformer在大规模语料库上进 行自监督预训练，然后在下游任务进行微调受到人们的关注，许多预训练大模型都是遵守这一范式提出，例如BERT、GPT等。 虽然基于Transformer的大模型都取得了很好的效果，但还是限于单一模态（文本）上，无法将其self-attention中良好的泛化 能力迁移到其他模态（图像、视频等）中。Transformer不能迁移图像领域的主要原因在于输入长度限制，以BERT为例，其输入 数据的长度只能支持512，而对于像素为224*224的图片来讲，其输入远大于512。

ViT的出