原文链接:ECCV 2024 | SAM再升级!分割和识别2.2万种类别!OV-SAM:交互式分割和识别22,000 种类别!
- 单位:南洋理工大学(Chen Change Loy团队), 上海AI Lab
- 主页:www.mmlab-ntu.com/project/ovsam/
- 代码:github.com/HarborYuan/ovsam
- 论文:https://arxiv.org/abs/2401.02955
CLIP 和分割一切模型 (SAM) 是出色的视觉基础模型 (VFM)。SAM 擅长跨不同领域的分割任务,而 CLIP 以其零样本识别能力而闻名。
本文提出了将这两种模型集成到统一框架中的深入探索。具体来说,我们介绍了 Open-Vocabulary SAM,这是一种受 SAM 启发的模型,专为同步交互式分割和识别而设计,利用两个独特的知识迁移模块:SAM2CLIP 和 CLIP2SAM。
前者通过蒸馏和可学习的Transformer适配器将 SAM 的知识融入到 CLIP 中,而后者则将 CLIP 知识迁移到 SAM 中,增强其识别能力。
实验结果
对各种数据集和检测器的大量实验表明,开放词汇 SAM 在分割和识别任务中的有效性,显著优于简单组合 SAM 和 CLIP 的简单基线。此外,在图像分类数据训练的帮助下,我们的方法可以分割和识别大约 22,000 个类别。