最新视频的分割一切综述 Segment Anything for Videos : A Systematic Survey

Segment Anything for Videos: A Systematic Survey

https://arxiv.org/pdf/2408.08315

Abstract

The recent wave of foundation models has witnessed tremendous success in computer vision (CV) and beyond, with the segment anything model (SAM) having sparked a passion for exploring task-agnostic visual foundation models. Empowered by its remarkable zero-shot generalization, SAM is currently challenging numerous traditional paradigms in CV, delivering extraordinary performance not only in various image segmentation and multi-modal segmentation (e.g., text-to-mask) tasks, but also in the video domain. Additionally, the latest released SAM 2 is once again sparking research enthusiasm in the realm of promptable visual segmentation for both images and videos. However, existing surveys mainly focus on SAM in various image processing tasks, a comprehensive and in-depth review in the video domain is notably absent. To address this gap, this work conducts a systematic review on SAM for videos in the era of foundation models. As the first to review the progress of SAM for videos, this work focuses on its applications to various tasks by discussing its recent advances, and innovation opportunities of developing foundation models on broad applications. We begin with a brief introduction to the background of SAM and video-related research domains. Subsequently, we present a systematic taxonomy that categorizes existing methods into three key areas: video understanding, video generation, and video editing, analyzing and summarizing their advantages and limitations. Furthermore, comparative results of SAM-based and current state-of-the-art methods on representative benchmarks, as well as insightful analysis are offered. Finally, we discuss the challenges faced by current research and envision several future research directions in the field of SAM for video and beyond.

Introduction

基础模型（Foundation Models）在大规模数据集上进行预训练，能够学习输入数据的通用表示，并提取出有意义的特征，这些特征可以进一步针对特定应用进行微调。

分割任何事物模型（Segment Anything Model，SAM）通过在一亿多个掩码和一千一百万张图像上进行训练，能够根据多种提示（如点、框和文本）生成高质量的分割掩码。更重要的是，SAM在各种分割任务（如交互式分割、语义分割和全景分割）中表现出强大的零样本泛化能力，而无需重新训练或微调。因此，SAM的出现让许多研究者相信，这是计算机视觉领域的“GPT-3时刻”，因为SAM已经学会了“物体”的一般概念，甚至能够处理未知物体、不熟悉的场景（如水下和细胞显微镜下的场景以及模糊情况）。

如图1(a)所示，自2023年4月以来，与SAM相关的研究工作显著增加。分割任何事物模型2（SAM 2）通过集成带有流式内存的Transformer框架，对其前身SAM进行了增强，从而实现了卓越的实时视频分割能力。在广泛且多样的分割任何事物视频（SA-V）数据集上进行训练后，SAM 2在视频任务中展示了更高的准确性和效率，特别是在处理不同时空上下文中的可提示视觉分割方面，提供了一个强大的解决方案。

将SAM应用于视频任务。在当今的数字时代，视频作为一种重要的媒介，与静态图像和纯文本相比，提供了强大的视觉表示、增强的感知和记忆、强大的叙事能力以及丰富的交互性，使其成为通信和娱乐的更有效媒介。SAM在视频任务中的探索正迅速成为一个蓬勃发展的研究领域。尽管SAM在各种图像任务中表现出巨大潜力，但在视频任务中仍面临诸多挑战，如确保SAM在长时间视频帧中持续且一致地生成掩码，以及提高其在处理大规模视频数据时的可扩展性和效率。目前，大多数与视频相关的研究工作通常直接使用SAM来实现创新应用的显著成果。为了全面理解这一前沿研究领域，如图1(b)所示，进行了这项综述，并将SAM的创新应用现有工作分为三大类：视频理解、视频生成和视频编辑。

视频任务的独特挑战。与其他任务（如图像和文本处理）相比，视频任务存在以下独特挑战：

1. 时间信息处理：视频数据不仅包含空间信息，还包含时间动态。因此，处理视频数据需要考虑时间关系和动态变化。
2. 高维数据：视频的每一帧都包含大量像素的高维数据，导致数据量巨大，需要更多的计算资源和存储空间。
3. 连续性和稳定性：视频通常是连续的，处理视频需要考虑帧之间的连贯性和稳定性，以实现可靠的分析和应用结果。
4. 时间成本：由于视频数据量巨大，处理视频任务的时间成本通常较高，对计算资源和算法效率提出了更高要求。
5. 动作和事件识别：与静态图像相比，视频任务通常涉及动作和事件的识别，要求模型理解和学习时间序列中的动态变化。

与以往综述的比较。尽管已经提出了三项关于SAM的综述[3],[9],[31]，但本文的综述与现有综述的主要区别在于以下三个方面：

1. 以往的SAM基础综述仅关注医学图像分割任务或粗略地覆盖视频任务，然而，SAM在视频领域是一个具有挑战性和前景的研究课题，具有许多创新机会和潜在应用。本文进行一项专门针对这一领域（即视频中的SAM）的系统综述，以造福相关研究人员和从业者。
2. 本综述为视频中的SAM提供了一个易于理解和高度结构化的分类法，将现有方法分为三大类（即视频理解、视频生成和视频编辑），这与以往综述显著不同。
3. 本文提供了SAM在视频方面的综合性能评估，以及许多新见解，以帮助读者跟踪该领域的最新进展。此外，提出的研究方向是深思熟虑的，可以为视频领域及更广泛领域的基础模型开发开辟新的途径。

本综述的主要贡献有三方面：

• 全面回顾了在基础模型时代，视频领域的Segment Anything Model（SAM）的发展，并系统地综述了该领域的最新进展，这些进展可以分为三个主要类别：视频理解、视频生成和视频编辑。据我们所知，这是首次针对这一具体领域进行的系统性综述。

•将基于SAM的方法与当前最先进的（state-of-the-art，简称SOTA）方法在代表性数据集上的视频任务进行了全面比较。重要的是，本文深入分析了这些前沿方法的优缺点，有助于读者为他们的具体应用选择合适的基线，同时提供关于改进现有方法的宝贵见解。

• 基于系统的文献回顾和全面的性能评估，指出了一些潜在的未来发展趋势。

[3] C. Zhang, L. Liu, Y. Cui, G. Huang, W. Lin, Y. Yang, and Y. Hu, “A comprehensive survey on segment anything model for vision and beyond,” arXiv:2305.08196, 2023.

[9] Y. Zhang and R. Jiao, “Towards segment anything model (sam) for medical image segmentation: A survey,” arXiv preprint arXiv:2305.03678, 2023.

[31] C. Zhang, S. Zheng, C. Li, Y. Qiao, T. Kang, X. Shan, C. Zhang, C. Qin, F. Rameau, S.-H. Bae et al., “A survey on segment anything model (sam): Vision foundation model meets prompt engineering,” arXiv preprint arXiv:2306.06211, 2023.

Segment Anything Models

Video understanding tasks using SAM

A. Video Object Segmentation

        1) Video Semantic Segmentation

        2) Video Instance Segmentation

        3) Video Panoptic Segmentation

        4) Video Entity Segmentation

B. Video Object Tracking

C. Deepfake Detection

D. Video Shadow Detection

E. Miscellaneous

        1) Audio-Visual Segmentation

        2) Referring Video Object Segmentation

F. Domain Specific

1) Medical Videos

2) Domain Adaptation

3) Tool Software

4) More Directions

Video generation with SAM

A. Video Synthesis

B. Video Super-Resolution

C. 3D Reconstruction

D. Video Dataset Annotation Generation

Video editing with SAM

Generic Video Editing

Text Guided Video Editing

Object Removing

Performance evaluation