3D分割里程碑！SAM2Point联合SAM2，首次实现任意3D场景、任意Prompt的分割-CSDN博客

文章链接：

https://arxiv.org/pdf/2408.16768

在线Demo:

https://huggingface.co/spaces/ZiyuG/SAM2Point

代码链接：

https://github.com/ZiyuGuo99/SAM2Point

▲ 图1 SAM2POINT 的分割范式

重点概述：

无需投影到 2D 的 SAM 2 分割方案：SAM2POINT 通过将 3D 数据体素化为视频格式，避免了复杂的 2D 至 3D 的投影，实现了高效的零样本 3D 分割，同时保留了丰富的空间信息。
支持任意用户提示（Prompt）：该方法支持 3D 点、3D 框和 Mask 三种提示类型，实现了灵活的交互式分割，增强了 3D 分割的精确度和适应性。
泛化任何 3D 场景：SAM2POINT 在多种 3D 场景中表现出优越的泛化能力，包括单个物体、室内场景、室外场景和原始 LiDAR 数据, 显示了良好的跨领域转移能力。

SAM2POINT，是 3D 可提示分割领域的初步探索，将 Segment Anything Model 2（SAM 2）适配于零样本和可提示的 3D 分割。SAM2POINT 将任何 3D 数据解释为一系列多方向视频，并利用 SAM2 进行 3D 空间分割，无需进一步训练或 2D 至 3D 投影。

SAM2POINT 框架支持多种提示类型，包括 3D 点、 3D 框和 3D Mask，并且可以在多种不同场景中进行泛化，例如 3D 单个物体、室内场景、室外场景和原始激光雷达数据（ LiDAR）。在多个 3D 数据集上的演示，如 Objaverse、S3DIS、ScanNet、Semantic3D 和 KITTI，突出了 SAM2POINT 的强大泛化能力。

据我们所知，这是 SAM 在 3D 中最忠实的实现，可能为未来可提示的 3D 分割研究提供一个起点。

SAM2Point的动机与方法创新

Segment Anything Model（SAM）已经建立了一个卓越且基础的交互式图像分割框架。基于其强大的迁移能力，后续研究将 SAM 扩展到多样的视觉领域，例如个性化物体、医学影像和时间序列。更近期的 Segment Anything Model 2（SAM 2）提出了在视频场景中的印象深刻的分割能力，捕捉复杂的现实世界动态。

▲ 表1：SAM2POINT 与以往基于 SAM 的 3D 分割方法的比较。SAM2POINT 是 SAM 在 3D 中最忠实的实现，展示了在 3D 分割中的卓越实施效率、可提示的灵活性和泛化能力。

尽管如此，如何有效地将 SAM 适应于 3D 分割仍然是一个未解决的挑战。表 1 列举了前期工作的主要问题，这些问题阻碍了充分利用 SAM 的优势：

2D 到 3D 投影的效率低。考虑到 2D 和 3D 之间的领域差距，大多数现有工作将 3D 数据表示为其 2D 对应输入给 SAM，并将分割结果反向投影到 3D 空间，例如使用额外的 RGB 图像、多视图渲染或神经辐射场。这种模态转换引入了显著的处理复杂性，阻碍了有效的实施。
3D 空间信息的退化。依赖 2D 投影导致了精细的 3D 几何形态和语义的丢失，多视图数据常常无法保留空间关系。此外，3D 物体的内部结构不能被 2D 图像充分捕获，显著限制了分割精度。
提示灵活性的丧失。SAM 的一个引人注目的优点是通过各种提示替代品的交互能力。不幸的是，这些功能在当前方法中大多被忽视，因为用户难以使用 2D 表示来精确指定 3D 位置。因此，SAM 通常用于在整个多视图图像中进行密集分割，从而牺牲了交互性。
有限的领域迁移能力。现有的 2D-3D 投影技术通常是为特定的 3D 场景量身定制的，严重依赖于领域内的模式。这使得它们难以应用于新的环境，例如从物体到场景或从室内到室外环境。另一个研究方向旨在从头开始训练一个可提示的 3D 网络。虽然绕过了 2D 投影的需要，但它需要大量的训练和数据资源，可能仍受训练数据分布的限制。

相比之下，SAM2POINT 将 SAM 2 适应于高效、无投影、可提示和零样本的 3D 分割。作为这一方向的初步步骤，SAM2POINT 的目标不在于突破性能极限，而是展示 SAM 在多种环境中实现强大且有效的 3D 分割的潜力。

效果展示

图2 - 图7 展示了 SAM2POINT 在使用不同 3D 提示对不同数据集进行 3D 数据分割的演示，其中 3D 提示用红色表示，分割结果用绿色表示：

▲ 图 2 使用 SAM2POINT 在 Objaverse 数据集上进行 3D 物体分割

▲ 图 3 使用 SAM2POINT 在 S3DIS 数据集上进行 3D 室内场景分割

▲ 图 4 使用 SAM2POINT 在 ScanNet 数据集上进行 3D 室内场景分割

▲ 图 5 使用 SAM2POINT 在 Semantic3D 数据集上进行 3D 室外场景分割

▲ 图 6 使用 SAM2POINT 在 KITTI 上进行 3D 原始激光雷达数据分割

SAM2Point 的 3D 物体的多方向视频：

SAM2Point 的 3D 室内场景多方向视频：

SAM2Point 的 3D 室外场景多方向视频：

SAM2Point 的 3D 原始激光雷达的多方向视频：

SAM2POINT方法详述

SAM2POINT 的详细方法如下图所示。下面介绍了 SAM2POINT 如何高效地处理 3D 数据以适配 SAM 2，从而避免复杂的投影过程。接下来，以及详细说明了支持的三种 3D 提示类型及其相关的分割技术。最后，展示了 SAM2POINT 有效解决的四种具有挑战性的 3D 场景。

▲ 图8 SAM2POINT 的具体方法

3.1 3D数据作为视频

对于任何物体级或场景级的点云，用表示，每个点为。本文的目标是将转换为一种数据格式，这种格式一方面能使 SAM 2 以零样本的方式直接处理，另一方面能够很好地保留细粒度的空间几何结构。

为此，SAM2Point 采用了 3D 体素化技术。与 RGB 图像映射、多视角渲染和和神经辐射场（NeRF）等先前工作相比，体素化在 3D 空间中的执行效率更高，且不会导致信息退化和繁琐的后处理。

通过这种方式，获得了 3D 输入的体素化表示，记作，每个体素为。为了简化，值根据距离体素中心最近的点设置。这种格式与形状为的视频非常相似。

主要区别在于，视频数据包含在帧之间的单向时间依赖性，而 3D 体素在三个空间维度上是各向同性的。考虑到这一点，SAM2Point 将体素表示转换为一系列多方向的视频，从而启发 SAM 2 以与处理视频相同的方式来分割 3D 数据。

3.2 可提示分割

为了实现灵活的交互性，SAM2POINT 支持三种类型的 3D 提示，这些提示可以单独或联合使用。以下详细说明提示和分割细节：

3D 点提示，记作。首先将视为 3D 空间中的锚点，以定义三个正交的 2D 截面。从这些截面开始，我们沿六个空间方向将 3D 体素分为六个子部分，即前、后、左、右、上和下。接着，我们将它们视为六个不同的视频，其中截面作为第一帧，被投影为 2D 点提示。应用 SAM 2 进行并行分割后, 将六个视频的结果整合为最终的 3D mask 预测。
3D 框提示，记作，包括 3D 中心坐标和尺寸。我们采用的几何中心作为针点，并按照上述方法将 3D 体素表示为六个不同的视频。对于某一方向的视频，我们将投影到相应的 2D 截面，作为分割的框点。我们还支持具有旋转角度的 3D 框，例如，对于这种情况，采用投影后的的边界矩形作为 2D 提示。
3D mask 提示，记作，其中 1 或 0 表示 mask 区域和非 mask 区域。使用 mask 提示的质心作为锚点，同样将 3D 空间分为六个视频。3D mask 提示与每个截面的交集被用作 2D mask 提示进行分割。这种提示方式也可以作为后期精炼步骤，以提高先前预测的 3D mask 的准确性。

3.3 任意3D场景

通过简洁的框架设计，SAM2POINT 在不同领域表现出卓越的零样本泛化性能，涵盖从物体到场景，从室内到室外环境。以下详细介绍四种不同的 3D 场景：

3D 单个物体，如 Objaverse，拥有广泛的类别，具有不同实例的独特特征, 包括颜色、形状和几何结构。对象的相邻组件可能会重叠、遮挡或与彼此融合, 这要求模型准确识别细微差别以进行部分分割。
3D 室内场景，如 S3DIS 和 ScanNet，通常以多个物体在有限空间内（如房间）排列的特点为主。复杂的空间布局、外观相似性以及物体之间不同的方向性，为模型从背景中分割物体带来挑战。
3D 室外场景，如 Semantic3D，与室内场景主要不同在于物体（建筑、车辆和人）之间的明显大小对比以及点云的更大规模（从一个房间到整条街道）。这些变化使得无论是全局还是细粒度层面的物体分割都变得复杂。
原始激光雷达数据（ LIDAR），例如用于自动驾驶的 KITTI（Geiger 等人，2012），与典型点云不同，其特点是稀疏分布和缺乏 RGB 信息。稀疏性要求模型推断缺失的语义以理解场景，而缺乏颜色则强迫模型只依靠几何线索来区分物体。在 SAM2POINT 中，我们直接根据激光雷达的强度设置 3D 体素的 RGB 值。

讨论与洞察

基于 SAM2POINT 的有效性，文章深入探讨了 3D 领域中两个引人注目但具有挑战性的问题，并分享了作者对未来多模态学习的见解。

4.1 如何将 2D 基础模型适应到 3D?

大规模高质量数据的可用性显著促进了语言和视觉-语言领域大型模型的发展。相比之下，3D 领域长期以来一直面临数据匮乏的问题，这阻碍了大型 3D 模型的训练。因此，研究人员转而尝试将预训练的 2D 模型转移到 3D 中。

主要挑战在于桥接 2D 和 3D 之间的模态差距。如 PointCLIP V1 及其 V2 版本和后续方法等开创性方法，将 3D 数据投影成多视角图像，这遇到了实施效率低和信息丢失的问题。另一条研究线，包括 ULIP 系列、I2P-MAE 及其他，采用了使用 2D-3D 配对数据的知识蒸馏。虽然这种方法由于广泛的训练通常表现更好，但在非域场景中的 3D 迁移能力有限。

近期的努力还探索了更复杂且成本更高的解决方案，例如联合多模态空间（例如Point-Bind & Point-LLM），大规模预训练（Uni3D）和虚拟投影技术（Any2Point）。

从 SAM2POINT 我们观察到，通过体素化将 3D 数据表示为视频可能提供了一个最佳解决方案，提供了性能和效率之间的平衡折衷。这种方法不仅以简单的转换保留了 3D 空间中固有的空间几何形状，还呈现了一种 2D 模型可以直接处理的基于网格的数据格式。尽管如此，仍需要进一步的实验来验证并加强这一观察。

4.2 SAM2POINT在3D领域的潜力是什么？

SAM2POINT 展示了SAM 在 3D 中最准确和全面的实现，成功继承了其实施效率、可提示的灵活性和泛化能力。虽然之前基于 SAM 的方法已经实现了 3D 分割，但它们在可扩展性和迁移到其他 3D 任务的能力方面往往表现不足。相比之下，受到 2D 领域 SAM 的启发，SAM2POINT 展现了推进各种 3D 应用的重大潜力。

对于基本的 3D 理解，SAM2POINT 可以作为一个统一的初始化主干，进一步微调，同时为 3D 物体、室内场景、室外场景和原始激光雷达提供强大的 3D 表示。在训练大型 3D 模型的背景下，SAM2POINT 可以作为自动数据标注工具，通过在不同场景中生成大规模分割标签来缓解数据稀缺问题。

对于 3D 和语言视觉学习，SAM2POINT 天生提供了一个跨 2D、3D 和视频领域的联合嵌入空间，由于其零样本能力，这可能进一步增强模型的效果，如 Point-Bind。此外，在开发 3D 大语言模型（LLMs）的过程中，SAM2POINT 可以作为一个强大的 3D 编码器，为 LLMs 提供 3D Tokens，并利用其可提示的特征为 LLMs 装备可提示的指令遵循能力。

总结

SAM2Point，利用 Segment Anything 2（SAM 2）实现了零样本和可提示的 3D 分割框架。通过将 3D 数据表示为多方向视频，SAM2POINT 支持多种类型的用户提供的提示（3D 点、3D 框和 3D mask），并在多种 3D 场景（3D 单个物体、室内场景、室外场景和原始稀疏激光雷达）中展现出强大的泛化能力。

作为一项初步探索，SAM2POINT 为有效和高效地适应 SAM 2 以理解 3D 提供了独特的见解。希望 SAM2Point 能成为可提示 3D 分割的基础基准，鼓励进一步的研究，以充分利用 SAM 2 在 3D 领域的潜力。