多模态大模型(MLLM)训练篇 - Instruction tuning

【导读】MLLM 的训练范式大致可以划分为预训练阶段、指令微调阶段和对齐微调阶段。本文介绍指令微调阶段**（Instruction-tuning）**，指令微调阶段的目的是教会模型更好的理解用户指令，完成指定任务。本文将介绍指令微调的训练范式和数据构建方法。

一、Motivation

为什么需要指令微调？

多模态大模型预训练阶段的目的是实现跨模态特征对齐，并且可以理解不同模态的基本信息，有时执行简单的问答。但是无法遵循复杂的指令，指令微调阶段的目的是：教会模型更好的理解用户指令，完成指定任务。

我们以大语言模型(LLM)为例，说明指令微调的必要性。

仅预训练的多模态模型有如下问题：

1. 任务指令是不明确的：意味着任务的指令没有明确给出，模型需要从上下文或其他信息中自行推断任务内容
2. 需要单任务模型训练，或者在没有明确指令情况下进行多任务处理
3. 在zero-shot下很难泛化到新任务

指令微调的优势：

1. 任务指令是明确的，用自然语言表达
2. 一个单一的模型经过训练，可以按照指定的指令进行多任务处理
3. 自然且易于推广到zero-shot中的新任务

以下是大语言模型的发展史，可以看到指令微调在LLM中的重要作用：

二、Instruction Tuning 架构

大语言模型(LLM) 和多模态大模型(MLLM)的训练范式和指令数据格式示例如下。

2.1 训练目标

给定一个视觉语言指令样本 (Instruction,Input,Response)，其中 Instruction 是指令句子，Input={, } 是输入图像和上下文文本， Response 是给定指令和输入的响应。MLLM 预测给定指令和输入的答案，即 Predicted=MLLM(Instruction,Input;θ)，其中 MLLM(⋅) 表示 MLLM，θ 是 MLLM 的参数。进一步，配合预训练阶段的自回归训练设置，指令调优阶段仍然需要正确预测 Response中的下一个token作为目标。

经典MLLMs: LLaVA, MiniGPT4, LLaVA-NeXT, ViP-LLaVA, LLaVA-UHD, MiniCPM, Qwen-VL, CogAgent, InternVL, mPLUG-OWL, Monkey, MiniGemini, LLaVA-HR, SPHINX, DeepSeek-VL, MoAI

2.2 训练范式

下图为多模态大模型的多种训练范式，其中Stage 2代表指令微调阶段，指令微调阶段一般会训练 LLM 和connector，如llava。

三、Instruction Tuning数据

以Vision-Language模型为例，介绍视觉语言模型指令微调数据集的构建方法。下图为数据构建策略：

3.1 两种数据构建方法

视觉语言模型的指令微调数据的来源一般来自于公开标注的数据，其构建策略的主要区别在于标注数据的组织方式。具体来说，如图所示，可以分为两类：Annotation Adaption和Self-Instruct。

3.1.1 Annotation Adaption

Annotation Adaption方法利用现有的大规模、多样化和高质量的标注数据（例如图像标注、视觉问答等），这些数据通常来源于各种视觉任务，如识别、分割和分类。研究者们将这些标注数据重新组织，以符合指令数据的标准格式。

3.1.2 Self-Instruct

这种方法将促使大语言模型生成更加多样化和内容丰富的指令跟踪数据。具体来说，此类方法利用了大语言模型强大的理解和生成能力。如图所示，他们根据模板、大语言模型等将标注信息（例如caption、bbox、label等）组织成图像的详细描述，并然后引导语言模型生成问答对或直接进入多轮对话。

第一步：将图像生成dense caption 和 bounding boxes

第二步：设计 prompt 喂给 GPT-4，输出指令微调数据集

Aligning large multi-modal model with robust instruction tuning. ICLR 2024.

3.2 已有的指令微调数据集

四、总结

一句话总结指令微调(Instruction Tuning)：通过向模型提供明确的指令和任务描述，让模型更懂人类意图！！！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】