多模态大模型(MLLM)架构篇：LLM Backbone

【导读】典型的MLLM可以抽象为三个模块，即预训练的Modality Encoder、预训练的LLM、连接它们的模态接口Connector。本文主要介绍LLM Backbone，它主要负责处理各种模态的特征，进行语义理解、推理和决策。

一、LLM Backbone 简介

在MLLM中作为大脑的关键模块是大语言模型（LLM），与从头开始训练一个LLM相比，使用预训练的模型更为高效和实用。通过在网络语料库上的大规模预训练，LLMs已经嵌入了丰富的世界知识，并展现出强大的泛化和推理能力。

大语言模型（LLM）发展时间线

LLM的结构主要包含三类：

• Encoder-Only (Autoencoding) Models: 仅编码器模型，也称为自动编码模型，是使用掩码语言模型进行预训练的，在此过程中，输入序列中的某些tokens被随机mask，模型的目标是预测被mask的tokens以重建原始句子。代表模型有：BERT _、RoBERTa，_由于MLLM大部分为生成模型，因此在MLLM中该结构模型存在较少

• **Decoder-Only (Autoregressive) Models：**仅解码器模型，使用因果语言模型进行预训练，其目标是根据前面的tokens序列预测下一个token。此过程也称为完整语言建模。与仅编码器模型不同，仅解码器模型会mask输入序列，他们迭代地预测下一个token，创建单向上下文。这种类型的模型利用原始架构中的解码器组件，而无需编码器。代表模型有：_GPT、BLOOM、Qwen、LLAMA，_目__前__该__结构为MLLM的主流

• Encoder-Decoder (Sequence-to-Sequence)Models :序列到序列模型结合了原始 Transformer 架构的编码器和解码器部分。Sequence-to-sequence模型对于翻译、摘要和问答任务非常有用，代表模型有：T5、BART

_LLM的三种结构示意图
_

另外，对大型语言模型的**混合专家模型（Mixture of Experts，MoE）**的探索引起了越来越多的关注,与Dense模型相比，稀疏架构通过选择性激活参数，可以在不增加计算成本的情况下扩大总参数规模。即在相同计算资源下，训练速度更快，而且可以训练更大的模型。实证上，MoE实现在几乎所有基准测试上都比Dense模型表现更好。代表模型：Mixtral 8x7B

Mixtral 8x7B

后面将主要介绍正常版和迷你版的MLLM使用的LLM backbone。

二、Normal MLLM（正常版）

按照多模态的下游任务统计： vision-to-language、visual grounding and region-level understand、image generation and editing，基于这三类任务使用的LLM进行的统计：其中LLAMA(占比43%)，Vicuna(占比27%)，其他的LLM模型包括：FlanT5、OPT、Qwen(支持中文)、Mixtral-8x7B等。

可以发现LLAMA和 Vicuna 占据了 70%，成为MLLM的主流语言模型。

来源：https://arxiv.org/pdf/2402.12451v1

三、Mini MLLM（迷你版）

高效多模态大语言模型是为了解决高昂的训练和推理成本而衍生出来的，这种轻量级的MLLM能够更方便的在学术界和工业界广泛应用，尤其是边缘计算的场景中。

迷你版的 MLLM使用的 LLM 模型主流参数规模在3B 以内，其中 Phi系列占比47.6%，其他包括 MobileLLaMA、Qwen、Gemma2B等

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】