基于Transformer视觉分割综述

基于Transformer视觉分割综述

SAM （Segment Anything ）作为一个视觉的分割基础模型，在短短的 3 个月时间吸引了很多研究者的关注和跟进。如果你想系统地了解 SAM 背后的技术，并跟上内卷的步伐，并能做出属于自己的 SAM 模型，那么接下这篇 Transformer-Based 的 Segmentation Survey 是不容错过！

南洋理工大学和上海人工智能实验室几位研究人员写了一篇关于 Transformer-Based 的 Segmentation 的综述，系统地回顾了近些年来基于 Transformer 的分割与检测模型，调研的最新模型截止至今年 6 月！综述还包括了相关领域的最新论文以及大量的实验分析与对比，并披露了多个具有广阔前景的未来研究方向！

视觉分割旨在将图像、视频帧或点云分割为多个片段或组。这种技术具有许多现实世界的应用，如自动驾驶、图像编辑、机器人感知和医学分析。在过去的十年里，基于深度学习的方法在这个领域取得了显著的进展。最近，Transformer 成为一种基于自注意力机制的神经网络，最初设计用于自然语言处理，在各种视觉处理任务中明显超越了以往的卷积或循环方法。

具体而言，视觉 Transformer 为各种分割任务提供了强大、统一甚至更简单的解决方案。本综述全面概述了基于 Transformer 的视觉分割，总结了最近的进展。首先，回顾了背景，包括问题定义、数据集和以往的卷积方法。接下来，总结了一个元架构，将所有最近的基于 Transformer 的方法统一起来。基于这个元架构，研究了各种方法设计，包括对这个元架构的修改和相关应用。此外，还介绍了几个相关的设置，包括 3D 点云分割、基础模型调优、域适应分割、高效分割和医学分割。此外，在几个广泛认可的数据集