多模态大模型：基础架构

多模态大型语言模型（MLLM）是人工智能领域的前沿创新，它结合了语言和视觉模型的功能，可以处理复杂的任务，如视觉问答和图像字幕。这些模型利用大规模预训练，集成了多种数据模态，以显著提高其在各种应用程序中的性能。

架构概览

较为常见的MLLM框架可以分为三个主要模块：接收且有效编码的多模态编码器、多模态之间数据对齐的投影器、和接收对齐信号并执行推理的大语言模型。当然各种项目总有自己的差异化设计，例如Chameleon或者Octo。

MLLM的主要的优化方向，在于处理高分辨率图像、压缩视觉标记（token）、多模态对齐、高效结构和利用紧凑语言模型等。

上图是一些MLLM的部分例子，将其中的基座LLM、视觉编码器、图像分辨率和投影器列具出来。

视觉编码器

来看看视觉编码器，与主流MLLM实践一致，基本上都是选择CLIP的预训练模型。这种方法有助于更好地对齐视觉和文本输入的特征空间。视觉编码器在MLLM参数中所占比例相对较小，因此与语言模型相比，轻量级优化不是刚需。

单一的编码器肯定无法在不同的任务中始终表现出色，将各种偏差的数据编码器进行联动则能够产生令人惊讶的相似结果。

BRAVE的深度消融实验证明了上述的结论。BRAVE按顺序连接了K个不同视觉编码器的特征（上图左）。之后这些串联特征被MEQ-Former进一步提炼（上图右）。

多个视觉编码器的确有助于捕捉广泛的视觉表征，从而增强模型对视觉数据的理解。Cobra将DINOv2和SigLIP集成为其视觉主干，其原理是将DINOv2的低级空间特征与 SigLIP提供的语义属性相结合将提高后续任务的性能。SPHINX-X采用两个视觉编码器DINOv2和CLIP-ConvNeXt。

鉴于这些基础模型已经通过不同的学习方法（自监督与弱监督）和网络架构（ViT与 CNN）进行预训练，应该能够提供互补和复杂的视觉表征。

轻量级视觉编码器Vision Transformer架构在实际应用中由于硬件和环境限制而面临挑战。ViTamin代表一种轻量级视觉模型，专门针对视觉和语言模型量身定制。依照下图所示，通过两层的MBC外加一层的注意力块完成视觉编码，然后和文本一起进行对比学习。

值得一提，ViTamin-XL的参数数量只有436M，却达到了ImageNet zero-shot 82.9%的准确率，超过了EVA-E的准确率82.0%。要知道EVA-E的参数数量为4.4B。

视觉投影器

视觉投影器的目的在于将视觉嵌入（Visual embeddings）等输入映射到文本空间（Text Embeddings）中。换句话说也就是将不同模态进行对齐。

1)投影，相信读者最直观的就是线性投影仪或多层感知器（MLP）来实现，可以理解就是最普通的神经网络。比如几层的神经网与非线性激活函数组合而成。

2)部分的投影基于注意力机制。BLIP2引入Q-Former，这是一种轻量级转换器，它使用一组可学习的查询向量从冻结的视觉模型中提取视觉特征。

Q-former基于对比学习进行训练，上图右侧展示了由Flamingo提出的感知重采样器（Perceiver Resampler）考虑在交叉注意力中使用earned Queries（上图彩色序列块）作为Q，而图像特征展开与Q连接起来，在交叉注意力中充当K和V。

上图为BLIP-2的第二阶段架构，通过这种方式，在Learned Queries的相应位置的转换器输出被作为视觉特征的聚合表示，从而将可变长度的视频帧特征标准化为固定大小的特征。

3)部分的投影基于CNN。MobileVLMv2提出了LDPv2，这是一种新的投影。由三部分组成：特征转换、Token压缩和位置信息增强。通过使用逐点卷积层、平均池化和具有跳跃连接的PEG模块，LDPv2实现了更高的效率，与原始LDP相比，参数减少了99.8%，处理速度略快。

4)最后还有基于大名鼎鼎的Mamba，VL-Mamba在其视觉语言投影仪中实现了2D视觉选择性扫描（VSS）技术，促进了不同学习方法的融合。

5)和所有武功都有最后一式一样，投影可以采用混合架构。Honeybee提出了两种视觉投影仪的组合，即C-Abstractor和D-Abstractor，它们遵循两个主要设计原则：（i）在视觉Token数量生成方面提供适应性，以及（ii）有效地维护本地上下文。下图详细的展示了Honeybee的投影混合架构：

C-Abstractor，或卷积抽象器，专注于通过采用卷积架构来熟练地对局部上下文进行建模。该结构由L个ResNet块组成，然后紧接着是额外的L个ResNet块，这有助于将视觉特征抽象为任意平方数量的视觉标记。而D-Abstractor是基于Deformable注意力的Abstractor。

视觉Token压缩

MLLM在需要复杂识别的任务中面临着相当大的挑战，尤其是带有OCR的场景。尽管提高图像分辨率可以解决，然而增加视觉Token的数量给MLLM带来了巨大的计算负担，这主要是由于Transformer架构中计算成本与输入Token数量呈二次比例，因此如何优化则成为这个领域很热门的主题。

直接使用高分辨率视觉编码器进行细粒度感知的成本高，并且不符合实际使用要求。为了让MLLM能够感知细节且实现低分辨率的编码能力，一般会利用全局视图进行图片规模的压缩以及通过拆分衍生局部的图像块(Patch)。

LLaVA-UHD提出了一种图像模块化策略，将原生分辨率的图像划分为更小的可变大小切片，以实现高效和可扩展的编码。注意下图左侧，这个框架自动的选择最优的切分方案。

此外，InternLM-XComposer2-4KHD 引入了一种通过自动布局排列动态调整分辨率的策略，不仅可以保持图像的原始纵横比，还可以自适应地改变Patch布局和计数，从而提高图像信息提取的效率。

通过对不同分辨率的图像实施自适应输入策略，可以在感知能力和效率之间实现平衡。如上图所示，说白了就是将原图压缩和切块一起进行编码。

Mini-Gemini由两个编码器组成，一个用于高分辨率图像，另一个用于低分辨率视觉嵌入。它提出了patch的信息挖掘，它使用低分辨率的视觉嵌入作为查询，通过交叉注意力从高分辨率候选者那里检索相关的视觉线索。

Scaling on Scales表明，多尺度较小模型的学习能力与较大模型相当，并且预训练较小的模型可以在MLLM基准测试上匹配甚至超过较大模型的优势，同时计算效率更高。

S2-Wrapper是一种简单的机制，它可以以无参数的方式将任何预训练的视觉模型扩展到多个图像尺度。以ViT-B为例，S2-Wrapper将输入图像插值到不同的尺度（例如2242和4482），然后将每个尺度分割成几个与默认输入大小相同的子图像（4482→4×2242）。对于每个尺度，所有子图像都被输入到同一个模型中，输出（例如4×162）被合并到整个图像的特征图中（322）。不同尺度的特征图被平均池化到原始空间大小（162）并连接在一起。最终的多尺度特征具有与单尺度特征相同的空间形状，但有更高维度（例如1536 vs 768）。

小结

MLLM的主要问题是资源需求，训练这些模型需要大量的计算资源，通常只有拥有大量预算的大型企业才能使用。例如，在 NVIDIA A100 GPU上训练像MiniGPT-v2这样的模型需要超过800个GPU小时，这对于许多学术研究人员和小公司来说成本是巨大的。此外，推理的高计算成本进一步加剧了这个问题，使得在边缘计算等资源受限的环境中部署这些模型变得困顿。OpenAI的GPT-4V和谷歌的Gemini等模型通过大规模预训练取得了显著的性能，但它们的计算需求限制了它们的使用。

目前应对这些挑战的方法集中在优化MLLM的效率上，需要MLLM采用多种创新技术来解决资源消耗问题。其中包括引入更轻的架构，旨在降低参数和计算复杂性。例如，MobileVLM和LLaVA-Phi等模型使用视觉Token压缩和高效的视觉语言投影器来提高效率。

通过采用Token压缩和轻量级模型结构，这些模型实现了计算效率的显著提高，并拓宽了其应用范围。例如，与以前的型号相比，LLaVA-UHD支持处理分辨率高达6倍的图像，只需94%的计算量。这使得在学术环境中训练这些模型成为可能，一些模型只需23小时即可使用8个A100 GPU进行训练。值得一提的是，这些效率的提高不是以牺牲性能为代价的。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】