如何训练多模态LLMs以理解和与文本、图像、视频和音频进行交互

近期，多模态大型语言模型（LLMs）因其能够理解和生成各种数据类型的内容而受到研究界和科技行业的广泛关注。

这些多模态模型建立在像Chat-GPT这样的单一模态模型的基本原则之上，整合了视觉、听觉和文本数据，使它们能够提供更丰富且更具上下文相关性的输出。

本文将提供一个关于多模态大型语言模型领域的背景及相关研究的简要概述。

1. 引言

1.1 大型语言模型（LLMs）

近年来，人工智能领域最突破性的进展之一是大型语言模型（LLMs）的发展和普及。

这些模型以前所未有的规模运作，处理大量数据以执行语言任务，准确度惊人。

LLMs的基础技术是在广泛的文本语料库上进行训练。这种方法旨在向模型提供数十亿，有时甚至数万亿的单词，帮助它理解语言结构、语义和上下文。

如图1所示，GPT-3[1]使用至少数十亿个tokens来训练语言模型。

此外，它们的参数规模也呈指数级增长。如今的LLMs以数十亿甚至数万亿的参数为傲，展示了其背后巨大的计算能力。

参数数量的增加并不仅仅是对规模的竞赛，而是具有深远的意义。参数空间越大，模型就能越多地封装庞大语言数据库的细微差别。这是一种共生关系：随着可用数据量的增加，处理和理解这些数据所需的更广阔的参数空间也在增长。

本质上，参数和数据大小的相互增长催化了这些模型的精确性和适应性，使它们成为AI技术的前沿。

在这些LLMs的背后，训练阶段使用的一个特别重要的方法是“下一个词预测（nwp）”。

“下一个词预测”是一种用于开发语言模型，尤其是LLMs的训练技术。在这种方法中，模型的任务是预测给定序列或句子中的后续单词。例如，给定短语“It’s raining cats and”，模型可能会根据其训练预测“dogs”作为下一个单词。

通过不断尝试预测不同上下文中的下一个词，模型完善了对语言结构、语义和模式的理解。由于在训练期间重复接触到无数序列，LLMs变得越来越熟练，使它们生成的文本在连贯性和上下文方面惊人地类似于人类。

1.2 指令调优 尽管LLMs在大量数据集上训练后对语言有全面的理解，但它们可能不总是擅长特定任务。就像医学中的全科医生拥有广泛的知识，但可能不会执行专门的手术一样，没有微调的LLMs可能无法为特定任务提供最佳结果。指令调优旨在弥合这一差距，使LLM成为特定领域或功能的专家。

LLMs中的指令调优是一个专门的微调过程，它将模型的一般知识细化，使其擅长特定的任务或指令。在LLM经过广泛语料库的大量训练后，指令调优将这种广泛的掌握能力提炼，以更高的准确度和精确性满足特定查询或任务的需求。

与最初训练阶段让模型接触多样化的语言模式不同，指令调优使LLMs专注于遵循指令。指令调优通常采用包含明确指令的数据集，引导模型的学习轨迹。虽然初始训练优先考虑广泛的理解，但指令调优强调对特定查询的响应的准确性和相关性。

如图3所示，在之前的预训练-微调方法中，模型首先在广泛的语料库上进行初始预训练阶段，然后在更具体任务的数据集上进行微调。这项技术使模型能够利用在预训练期间获得的广泛知识，并进一步为特定任务进行精炼。

然而，这种方法通常需要大量的标注数据进行微调，并且存在过拟合到特定数据集的固有风险。

另一方面，提示（Prompting）方法避免了额外的训练。相反，模型被呈现出精心设计的提示，以引导它们产生期望的输出。这种方法因其能够避免任务为中心的微调需求以及在不同任务中的适应性而脱颖而出。

然而，寻找完美的提示有时可能是难以捉摸的，更像一门艺术而非精确科学，并且没有保证响应的精度或特异性。

最后，指令调优（Instruction-Tuning）是一种方法，它无缝融合了预训练的广泛知识基础与任务通用训练的精确性。这种协调确保了模型在所有下游任务中的熟练度。

尽管如此，类似于预训练-微调方法，指令调优可能需要伴随着明确指令的不同数据集，而在广泛知识和精确特异性之间找到正确平衡仍然至关重要。

1.3 多模态LLMsLLMs在文本相关任务中取得了令人印象深刻的进展，展示了在理解、生成和推理文本内容方面的能力。它们在解读语言的复杂性和多样化文本数据集中的细微差别方面的熟练程度确实值得称赞。

然而，LLMs领域的一个新兴挑战是它们处理多模态数据的能力。

传统上，LLMs主要设计用于处理文本数据。因此，使它们能够理解和交互处理涵盖图像、视频和音频的多模态输入，带来了重大挑战。

最近的进展提出了一种创新方法：利用LLMs强大的预训练知识库来适应多模态输入。通过这样做，希望能够对开源LLMs，如LLaMA[2]进行微调，使其不仅能够处理，还能从多种数据类型中得出有意义的解释。

这种进化旨在实现全面的多模态理解和推理，标志着向更通用和全面的AI系统迈进的重要飞跃。

在图4中，很明显Kosmos-1具有处理语言和视觉数据的能力。这允许它对多模态输入进行推理、理解和生成适当的响应。

传统上，这类上下文中使用的方法利用视觉编码器，例如Vision Transformer（ViT）[3]。ViT的主要作用是将视觉数据转换为与大型语言模型（LLMs）兼容的嵌入空间。一旦完成这一步骤，就可以利用冻结的LLMs对融合的多模态输入令牌进行推理。

1.4 多模态LLMs的训练过程LLMs主要设计用来处理和加工文本数据。另一方面，预训练的视觉编码器独特地定制用来管理和解释图像数据。鉴于它们输入模态的不同性质，整合两者需要专门的方法论。

为了弥合这一差距，当前的多模态LLMs采用一种策略性的过程，在这个过程的初期，它们首先将图像嵌入与LLM嵌入空间对齐。这种对齐通过密集的多模态预训阶段实现。在这一阶段，重点强调自回归学习。这种方法涉及使用广泛且多样的图像-文本配对来训练系统。

这背后的想法是教导LLM将图像与其文本描述关联起来。通过为它呈现的每张图像生成准确且相关的标题，训练LLM从图像中提取关键语义。这种做法确保了当呈现一个新的或不熟悉的图像时，LLM能够识别其核心元素并将它们转化为连贯的、描述性的标题。

在此之后，有一个进一步的精炼阶段称为指令调优。为此，数据集专门构建为多模态的性质。这些独特的数据集包含指令、图像和相应的文本的混合。通过在这样的数据集上训练，多模态LLMs不仅熟悉图像，还熟悉与它们相关联的类人指令。这最终导致一个复杂的系统，允许多模态LLMs以类似于标准LLMs的方式处理和响应指令。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】