Joint Visual and Text Prompting for Zero-Shot Object-Oriented Perception with Multimodal LLM

本文是LLM系列文章，针对《Joint Visual and Text Prompting for Zero-Shot Object-Oriented Perception with Multimodal Large Language Models》的翻译。

摘要

多模态大型语言模型（MLLM），如GPT-4V和Gemini Pro，在视觉问答（VQA）中实现人类水平的感知方面面临挑战，特别是在面向对象的感知任务中，这些任务需要对对象身份、位置或属性进行细粒度的理解，正如实证结果所表明的那样。这主要是因为它们将复杂的视觉线索与文本信息和潜在的物体幻觉有效整合的能力有限。本文提出了一种新的方法，即联合视觉和文本提示（VTPrompt），该方法利用细粒度的视觉信息来增强VQA中MLLM的能力，特别是面向对象的感知能力。VTPrompt融合了视觉和文本提示，从文本问题中提取关键概念，并采用检测模型在图像中突出显示相关对象作为视觉提示。处理后的图像和文本提示随后被输入MLLM，以产生更准确的答案。我们在三个基准测试（即MME、MMB和POPE）上对GPT-4V和Gemini Pro进行的实验证明了显著的改进。特别是，我们的方法使GPT-4V在MME上的得分提高了183.5分，并使GPT-4V和Gemini Pro的MMB性能分别提高了8.17%和15.69%。我们的代码发布