OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding

发表时间：27 Jun 2024

论文链接：https://arxiv.org/pdf/2406.19389 作者单位：Wuhan University

Motivation：目前的通用分割方法在像素级图像和视频理解方面表现出强大的能力。然而，它们缺乏推理能力，不能通过文本指令控制.相比之下，大型视觉语言多模态模型表现出强大的基于视觉的对话和推理能力，但缺乏像素级的理解，难以接受视觉提示进行灵活的用户交互。

解决方法：

本文提出了OMG-LLAVA，这是一个新颖而优雅的框架，结合了强大的像素级视觉理解与推理能力。它可以接受各种视觉和文本提示进行灵活的用户交互。具体来说，我们使用通用分割方法作为视觉编码器，将图像信息、感知先验和视觉提示集成到LLM提供的视觉标记中。LLM负责理解用户的文本指令，并根据视觉信息提供文本响应和像素级分割结果。我们提出了感知先验嵌入，以更好地将感知先验与图像特征集成。

实现方式：整体模型架构：

Image Encoder（包含在OMG-Seg中）：将基于ConxNeXt-L的CLIP模型作为Image Encoder，将分辨率为 1024×1024 的图片作为输入，通过32倍下采样和pixel shuffle得到256个视觉token。

Perception Prior Embedding（包含在OMG-Seg中）。文中发现直接把权重固定的感知模块和LLM结合并不能取得好的结果，因此提出了一个perception prior embedding提升效果。

OMG Decoder.文中用到了OMG Decoder生成以物体为中心的视觉token。

Visual Projector 和 Text Projector：

和LLaVA一样，文中也是用了MLP作为Visual Projector，同时也是用了MLP作为Text Projector将LLM输出的[SEG]token对应的特征映射到视觉空间。

实验：image-level understanding and reasoning tasks, object-level understanding and reasoning, pixel-level understanding and reasoning, semantic segmentation datasets.

结论：与以前的组合工作相比，我们的方法可以竞争结果，可训练参数和计算成本要少得多。

Future：我们希望我们的工作能够启发社区重新思考 MLLM 元架构的设计，以最小化模型组件并最大化 MLLM 的功能。