视觉特征在语言空间中如何分布？武大、上海交大提出统一多模态自回归建模框架...

©PaperWeekly 原创 · 作者 | 彭天硕

单位 | 武汉大学本科生

研究方向 | 多模态理解与生成

大型语言模型（LLMs）通过在大规模未注释文本语料库上执行自回归建模方法，展现出强大的感知和推理能力。然而，将自回归建模扩展到多模态场景以构建大型多模态模型（LMMs）时，存在一个很大的困难，即图像信息在 LMM 中被处理为连续的视觉嵌入，无法获得离散的监督标签用于进行分类损失计算。

在本文中，研究者首次成功地进行了采用统一目标的多模态自回归建模，并且进一步探讨了 LLMs 内部语义空间中视觉特征的分布以及使用文本嵌入来表示视觉信息的可能性。

论文题目：

Multi-modal Auto-regressive Modeling via Visual Words

论文地址：

https://export.arxiv.org/abs/2403.07720

代码地址：

https://github.com/pengts/VW-LMM

Hugging Face库：

https://huggingface.co/MYTH-Lab/VW-LMM-Vicuna-7b

https://huggingface.co/MYTH-Lab/VW-LMM-Mistral-7b

https://huggingface.co/MYTH-Lab/VW-LMM-Vicuna-pif-7b

动机

得益于在大规模未标记文本上执行自回归建模方法，大型语言模型（LLMs）能够从自然语言语料库中学习通用的语义信息和强大的推理能力。然而，对于将自回归建模扩展到多模态场景而言，存在一个很大的困难，即图像信息在 LMM 中被处理为连续的视觉嵌入，无法获得离散的监督标签用于分类损失计算。