GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest

在图像-文本对上调整大语言模型（LLM）的指令已经实现了前所未有的视觉-语言多模态能力。然而，他们的视觉语言对齐仅建立在图像级别上，缺乏区域级别对齐限制了他​​们在细粒度多模态理解方面的进步。在本文中，我们提出对感兴趣区域进行指令调整。关键设计是将边界框重新表述为空间指令的格式。将空间指令和语言嵌入提取的视觉特征的交错序列输入到LLM，并以指令调整格式对转换后的区域文本数据进行训练。我们的区域级视觉语言模型（称为 GPT4RoI）带来了超越图像级理解的全新对话和交互体验。

github：GitHub - jshilong/GPT4RoI: GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest

arxiv： https://arxiv.org/abs/2307.03601

GPT4ROI：感兴趣区域的指令微调大语言模型

背景：大规模语言模型在图像文本对上微调展现出令人惊讶的 多模态表现，然而都是在图像级别的，缺少区域级别的多模态推理

意义：细粒度的信息交互，可控、多轮对话、多种组成

相关技术：大规模语言模型、视觉语言模型、区域级别图像理解

创新点：将边界框转换为空间指令，利用大模型的识别、分析、推理能力，实现空间维度上的处理，支持区域级别的理解和多轮对话

具体内容：GPT4RoI是一个视觉大模型，支持处理包含空间信息的instructions，如<region>。在tokenization和embeddings过程中，instructions中的<region>替换为RoIAlign结果，随后所有的embeddings送入LLM处理。

数据集：COCO 、RefCOCO and RefCOCO+，RefCOCOg、Flicker30k、

训练方法：Stage 1: Pre-training、Stage 2: End-to-end Fine-tuning

效果：对感兴趣区域进行识别种类、简单属性和位置、文本生成和推理，

后续工作：模型架构进一步完善，丰富区域微调数据集，增加指令模板扩大场景覆盖

不足：交互方式单一