在图像-文本对上调整大语言模型(LLM)的指令已经实现了前所未有的视觉-语言多模态能力。然而,他们的视觉语言对齐仅建立在图像级别上,缺乏区域级别对齐限制了他们在细粒度多模态理解方面的进步。在本文中,我们提出对感兴趣区域进行指令调整。关键设计是将边界框重新表述为空间指令的格式。将空间指令和语言嵌入提取的视觉特征的交错序列输入到LLM,并以指令调整格式对转换后的区域文本数据进行训练。我们的区域级视觉语言模型(称为 GPT4RoI)带来了超越图像级理解的全新对话和交互体验。
github:GitHub - jshilong/GPT4RoI: GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest
arxiv: https://arxiv.org/abs/2307.03601
GPT4ROI:感兴趣区域的指令微调大语言模型
背景:大规模语言模型在图像文本对上微调展现出令人惊讶的 多模态表现,然而都是在图像级别的,缺少区域级别的多模态推理
意义:细粒度的信息交互,可控、多轮对话、多种组成
相关技术:大规模语言模型、视觉语言模型、区域级别图像理解
创新点:将边界框转换为空间指令,利用大模型的识别、分析、推理能力,实现空间维度上的处理,支持区域级别的理解和多轮对话
具体内容:GPT4RoI是一个视觉大模型,支持处理包含空间信息的instructions,如<region>。在tokenization和embeddings过程中,instructions中的<region>替换为RoIAlign结果,随后所有的embeddings送入LLM处理。
数据集:COCO 、RefCOCO and RefCOCO+,RefCOCOg、Flicker30k、
训练方法:Stage 1: Pre-training、Stage 2: End-to-end Fine-tuning
效果:对感兴趣区域进行识别种类、简单属性和位置、文本生成和推理,
后续工作:模型架构进一步完善,丰富区域微调数据集,增加指令模板扩大场景覆盖
不足:交互方式单一