多模态AI大模型综述

最新推荐文章于 2025-03-17 09:55:01 发布

程序员二飞

最新推荐文章于 2025-03-17 09:55:01 发布

阅读量1.2k

点赞数 30

文章标签：人工智能算法机器学习语言模型深度学习

本文链接：https://blog.csdn.net/xiangxueerfei/article/details/142482726

版权

多模态大型语言模型（MLLM）的发展得益于大型语言模型（LLM）和大型视觉模型（LVM）领域的持续进步。随着LLM在语言理解与推理能力上的增强，其在处理语言任务上的表现日益突出。尽管如此，LLM在视觉信息的感知与理解上存在局限。与此同时，LVM在视觉任务上取得了显著进展，但推理能力尚需提升。

MLLM的基本结构

在MLLM中，模态编码器负责将原始的多模态信息，如图像或音频，转换为紧凑的表示形式。通常，这些编码器是基于大规模图像-文本对预训练的模型，如CLIP的视觉编码器，它能有效将图像信息转化为向量表示，并与文本信息对齐。不同的模型在编码器的选择和优化上有所侧重。

EVA-CLIP 编码器

MiniGPT-4采用了EVA-CLIP编码器，该编码器在性能上优于标准CLIP，同时训练成本更低。EVA-CLIP通过使用EVA模型的预训练权重初始化图像编码器，提高了起始性能。此外，LAMB优化器的使用，特别适合大批量训练，通过自适应元素级更新和层级学习率，提高了训练效率并加速了模型的收敛。FLIP技术的应用，通过在训练过程中随机遮蔽图像标记，减少了时间复杂度，使得批量大小可以增加一倍而无需额外的内存开销。

基于卷积的 ConvNext-L 编码器

Osprey选择了基于卷积的ConvNext-L编码器，该编码器利用高分辨率和多层次特征，尤其在开放词汇分割任务中表现出高效率。Osprey基于像素级别的任务，使用基于CNN的编码器可以在支持高分辨率的同时，保持训练效率和推理速度，而不牺牲性能。

无编码器的架构

Fuyu-8b采用了纯解码器转换器，图像块被线性投影到转换器的第一层，绕过了嵌入查找过程，将普通Transformer解码器视为图像转换器。这种设计增强了模型对灵活输入分辨率的适应性。

模态编码器的优化策略

在多模态编码器的选择上，研究人员会考虑分辨率、参数规模和预训练语料库等因素。研究表明，使用更高分辨率的图像输入能够提升模型表现。为此，不同的模型采用了多种策略来优化编码器。

直接缩放输入分辨率

Qwen-VL和LLaVA-1.5通过将图像分割成更小的图像块来提高模型的输入分辨率。LLaVA-1.5使用CLIPViT-L-336px编码器，并发现高分辨率能够提升模型性能。通过将图像分割成视觉编码器原本训练时分辨率的小图像块，并分别对其进行编码，然后将这些特征图组合成一个大特征图，最终输入到LLM中，这种方式保留了高分辨率的细节，并通过降采样图像的特征与合并后的特征图相结合，提供了全局上下文。

CogAgent采取了双编码器机制来处理高分辨率和低分辨率图像。高分辨率特征通过交叉注意力注入到低分辨率分支中，增强了模型对高分辨率输入的支持。CogAgent允许输入1120×1120分辨率的图像，而不需要对视觉语言模型的其他部分做出调整，只需对高分辨率交叉模块进行预训练即可。

分块法

Monkey和SPHINX将大图像分割成小块，再将这些子图像与降采样的高分辨率图像一起输入图像编码器。Monkey支持1344×896的分辨率输入，通过将大图像分为6个448×448的图片块，再输入到VIT模型中。SPHINX使用混合视觉编码器将高分辨率的图片分块，并与低分辨率全图一起进行编码，捕获图像的局部和全局特征。

预训练的LLM

在MLLMs中的语言模型部分通常采用Causal Decoder架构，遵循如GPT-3的设计模式。Flan-T5系列是较早应用于MLLM的LLMs之一，开源的LLaMA系列和Vicuna系列则是当前较为常用的LLMs。扩大LLMs的参数规模通常能够带来显著的性能提升，这种效果在LLaVa-1.5和LLava-Next的研究中得到了验证。

同时，一些研究致力于开发轻量化的LLMs，以便在移动设备上实现高效部署。例如，MobileVLM系列使用了缩小版的LLaMA，在移动处理器上实现了高效推理。混合专家（Mixture of Experts，MoE）架构的研究引起了越来越多的关注，与密集模型不同，稀疏架构通过选择性激活参数，能够在不增加计算成本的情况下扩大模型的总参数规模。

模态接口

由于多模态模型的端到端训练难度和成本较高，目前大多数模型都采用了基于模态对齐的两种常用方法：构造可学习的连接器和利用专家模型将图像信息转换为语言形式，再输入到LLM中。这两种方法都旨在缩小不同模态之间的差距，使得模型能够更好地理解和处理多模态输入。

模态对齐的方法有很多种，下面总结常见的3种：

Token级融合

通过将编码器输出的特征转换为token，并在发送给LLM之前与文本token连接在一起。例如，BLIP-2首次实现了这种基于查询的token提取方式，随后Video-llama、InstructBLIP和X-llm等模型继承了这一方法。这种Q-Former风格的方法将视觉token压缩成更少数量的表示向量，简化了信息的传递和处理过程。

特征级融合

特征级融合则在文本和视觉特征之间引入了更深度的交互。例如，Flamingo通过在LLM的Transformer层之间插入额外的交叉注意力层，从而用外部视觉线索增强语言特征。CogVLM通过在每个Transformer层中插入视觉专家模块，实现了视觉和语言特征的双向交互与融合。

使用专家模型融合

在多模态模型中，专家模型被广泛应用于模态对齐的任务中，特别是当需要将图像或其他非语言模态的输入转换为语言形式时。这类方法的核心思想是利用现有的强大模型进行模态转换，从而避免重新训练一个复杂的多模态对齐模块。