UniCode Learning a Unified Codebook for Multimodal Large Language Models

本文是LLM系列文章，针对《UniCode Learning a Unified Codebook for Multimodal Large Language Models》的翻译。

摘要

在本文中，我们提出了UniCode，这是一种在多模态大型语言模型（MLLMs）领域内的新方法，它学习统一的码本，以有效地标记视觉、文本和潜在的其他类型的信号。这一创新解决了现有MLLM的一个关键限制：它们依赖纯文本码本，这限制了MLLM在多模态背景下生成图像和文本的能力。为此，我们提出了一种语言驱动的迭代训练范式，再加上我们称之为“图像解压缩”的上下文预训练任务，使我们的模型能够解释压缩的视觉数据并生成高质量的图像。统一的代码本使我们的模型能够将视觉指令调整扩展到非语言生成任务。此外，UniCode适用于各种堆叠量化方法，以便将视觉信号压缩为更紧凑的token表示。尽管在训练过程中使用的参数和数据明显较少，但Unicode在视觉重建和生成方面表现出了很有前途的能力。它还实现了在一系列VQA基准测试中与领先MLLMs相当的性能。

1 引言

2 相关工作

3 统一代码本学习

4 训练

5 实验

6 结论

我们介绍了UniCode，这是多模态语言学习模型（MLLM）领域的一项开创性工作，旨在创建用于视觉和文本标记化的统一代码簿。UniCode创新了语言驱动的迭代训练范式和上下文图像解压缩任务，使统一代码簿能够促进非语言生成任务的多模态指令调整。我们在多模态理解和生成