【AI论文】Visual Instruction Tuning

文献核心目标

作者的目标是通过多模态指令微调(Visual Instruction Tuning)来训练一个通用的视觉助手，使其能够理解用户的语言指令并与视觉内容结合完成任务。例如，用户可以上传图片并提出问题，模型根据图片内容作出回答。

1. 引言

什么是多模态交互？为什么重要？

人类的多模态交互

• 人类通过多种感知渠道（如视觉、语言）来理解和互动世界。
• 不同的感知渠道各有优势：
  • 视觉：擅长处理图像和视觉信息。
  • 语言：擅长表达抽象概念。
• 将这些感知渠道结合起来，可以帮助我们更全面地理解世界。

人工智能的目标

• 人工智能的核心目标之一是开发多模态通用助手。
• 这种助手需要能够理解并执行视觉和语言结合的指令，完成各种现实任务。

---

当前问题：现有方法的局限性

现有视觉模型的局限

• 当前许多视觉模型（如分类、检测、分割、生成等任务）性能强大，但存在以下问题：
  • 单任务导向：这些模型通常为单一任务而设计，缺乏通用性。
  • 交互性不足：模型只能根据固定的任务设计工作，无法灵活适应用户的复杂指令。
  • 语言的局限：语言仅用于描述图像内容，而不是灵活地表达任务指令。

语言模型的启发

• 大型语言模型（LLM），如 ChatGPT 和 GPT-4，展示了语言作为通用接口的潜力：
  • 明确任务指令：通过语言可以清晰表达任务需求。
  • 灵活性强：可以根据用户输入动态切换任务。
• 但目前的语言模型主要基于纯文本，缺乏处理视觉信息的能力。

---

新研究的目标：视觉指令调优

研究目标

• 视觉指令调优：将“指令调优”（Instruction Tuning）的方法从文本领域扩展到“视觉-语言多模态”领域。
• 目标是开发一个能够理解图像和语言组合指令的通用视觉助手，以完成多模态任务。

---

研究贡献

1. 多模态指令数据的构建

• 挑战：缺乏足够的视觉-语言指令数据。
• 解决方案：
  • 利用 ChatGPT 和 GPT-4，将现有的图像-文本对转换为“指令-响应”格式。
  • 例如，将“图像+描述”转化为“问题+答案”形式，使模型更好地理解任务。

2. 开发大型多模态模型

• 模型架构：
  • 使用 CLIP（一个视觉编码器）和 Vicuna（一种开源语言模型）相结合，构建新的多模态模型。
  • 使用生成的多模态指令数据进行端到端训练，使模型能够理解复杂的视觉-语言指令。
• 实验结果：
  • 实验证明，这种方法显著提升了模型的指令执行能力。
  • 当与 GPT-4 结合使用时，该模型在 Science QA 数据集上达到了最新的最高准确率。

3. 多模态评估基准

• 提出了新的评估基准（LLaVA-Bench），包括两个具有挑战性的多模态任务：
  • 配对的图像和指令。
  • 详细的任务标注。

4. 开源资源

• 研究团队公开了以下资源，促进社区研究：
  • 生成的多模态指令数据。
  • 模型代码和训练好的模型。
  • 一个视觉聊天的演示工具。

---

2 相关工作

多模态指令执行模型

什么是多模态指令执行模型？

• 多模态指令执行模型是一类能够同时理解视觉信息（如图像）和语言信息（如文字）的AI模型。
• 它们可以根据人类提供的视觉和语言指令，完成各种任务。
• 例如：
  • 根据文字指令对图片进行修改。
  • 在视觉环境中根据指令完成导航任务。

现有方法的分类

现有的多模态指令执行模型大致可以分为以下两类：

1. 端到端训练的模型

   • 定义：这些模型是专门为某一特定任务设计的，能够从输入到输出完成整个任务。
   • 示例：
     • 视觉-语言导航任务：例如在 Habitat [47] 平台上，AI根据自然语言指令（如“走到房间右侧的桌子旁”）在虚拟环境中导航。
     • 图像编辑任务：例如 InstructPix2Pix [6]，它根据文字描述（如“将天空改为夜晚”）修改输入图像。

2. 基于系统协调多个模型

   • 定义：这种方法通过一个“协调者”（通常是语言模型），将多个专用模型整合起来完成任务。
   • 示例：
     • Visual ChatGPT [53]：