通用检测大模型 | 华科白翔团队提出以对象为中心的基础模型GLEE

本文首发: AIWalker

https://arxiv.org/abs/2312.09158
https://glee-vision.github.io
AIWalker后台回复【GLEE】即可下载原文与译文。

在这项工作中，我们提出了GLEE：一个对象级的基础模型，用于定位和识别图像和视频中的对象。

• 通过一个统一的框架，GLEE可以在开放世界场景中完成任意物体的检测、分割、跟踪、接地和识别，以完成各种物体感知任务。
• 采用内聚学习策略，GLEE从不同监督级别的不同数据源中获取知识，以形成通用对象表示，擅长零次迁移到新数据和任务。

具体来说，我们采用图像编码器，文本编码器和视觉解码器来处理多模态输入，从而能够同时解决各种以对象为中心的下游任务，同时保持最先进的性能。 通过对来自不同基准的500多万张图像进行广泛的训练，GLEE表现出显着的多功能性和改进的泛化性能，有效地处理下游任务，而不需要特定于任务的适应。 通过集成大量的自动标注数据，我们进一步增强了其零炮概化能力。 此外，GLEE能够被集成到大型语言模型中，作为基础模型为多模态任务提供通用的对象级信息。 我们希望ÿ