多模态大语言模型(MLLMs)-一般架构

最新推荐文章于 2024-08-16 10:00:00 发布

Python编程杰哥

最新推荐文章于 2024-08-16 10:00:00 发布

阅读量1k

点赞数 16

文章标签：语言模型架构人工智能 chatgpt langchain 自然语言处理

本文链接：https://blog.csdn.net/xx_nm98/article/details/140475483

版权

多模态大语言模型(Multimodal Large Language Model , MLLM），在LLM原有的强大泛化和推理能力基础上，进一步引入了多模态信息处理能力。相比于以往的多模态方法，例如以 CLIP 为代表的判别式，或以 OFA 为代表的生成式，新兴的 MLLM 展现出一些典型的特质，在下面这两种特质的加持下，MLLM 涌现出一些以往多模态模型所不具备的能力！

模型大。MLLM 通常具有数十亿的参数量，更多的参数量带来更多的潜力；
新的训练范式。为了激活巨大参数量的潜力，MLLM 采用了多模态预训练、多模态指令微调等新的训练范式，与之匹配的是相应的数据集构造方式和评测方法等。

下面主要介绍一下MLLM的模型架构。

1 模型架构

对于多模态输入-文本输出的典型 MLLM，其架构一般包括模态编码器、连接器以及 LLM。如要支持更多模态的输出(如图片、音频、视频)，一般需要额外接入生成器，如下图所示:

在这里插入图片描述

模态编码器（Modality Encoder）负责将原始的信息(如图片)编码成特征，连接器(Connector)则进一步将特征处理成LLM 易于理解的形式，即视觉 Token。LLM 则作为“大脑”综合这些信息进行理解和推理，生成回答。目前，三者的参数量并不等同，以 Qwen-VL为例，LLM 作为“大脑”参数量为 7.7B，约占总参数量的 80.2%，视觉编码器次之(1.9B，约占 19.7%)，而连接器参数量仅有 0.08B。

2 模态编码器

模态编码器（Modality Encoder）主要是将其他的非文本模型信息编码成易于 LLM 可用的特征信息，并且编码器编码的特征大小会影响视觉特征输入到LLM模型中的信息量。例如，对于视觉编码器而言，增大输入图片的分辨率是提升性能的有效方法。一种方式是直接提升分辨率，这种情况下需要放开视觉编码器进行训练以适应更高的分辨率。另一种方式是将大分辨率图片切分成多个子图，每个子图以低分辨率送入视觉编码器中，这样可以间接提升输入的分辨率。

3 LLM

常用的包括LLM包括 LLaMA系列、Qwen系列和 InternLM系列等，前者主要支持英文，而后两者中英双语支持得更好。就性能影响而言，加大 LLM 的参数量可以带来显著的性能增益，如 LLaVA-NeXT在 7B/13B/34B 的 LLM 上进行实验，发现提升LLM 大小可以带来各 benchmark 上的显著提升，在 34B 的模型上更涌现出 zero-shot 的中文能力。除了直接增大 LLM 参数量，近期火热的 MoE 架构则提供了更高效实现的可能性，即通过稀疏计算的方式，在不增大实际计算参数量的前提下提高总的模型参数量。

4 连接器

连接器(Connector)主要作用是进一步将非文本特征处理(如视觉特征)成适合LLM的输入token格式。相对前两者来说，连接器的重要性略低，其不如视觉 token 数量(决定之后 LLM 可用的视觉信息)及图片的分辨率(决定视觉编码器的输入信息量)重要。

5 生成器

生成器(Generator)一般而言是可选的，其主要作用是对LLM输出特征进行非文本多模态的内容生成，生成器可以支持更多模态的输出(如图片、音频、视频)，弥补了LLM的多模态生成能力不足的缺点。例如：

图像生成：根据文本描述，利用LLM输出特征生成对应的图像。
视频生成：根据文本描述利用LLM输出特征生成视频内容，或将图片序列生成视频。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述