MIT最新开源！SAMesh：分割一切网格！-CSDN博客

本文链接：https://blog.csdn.net/weixin_46788581/article/details/142103695

0. 这篇文章干了啥？

网格部件分割在多个领域有广泛应用，从图形学中的纹理贴图和四边形网格划分到机器人学的物体理解。流行的网格部件分割方法要么是基于学习的，要么是采用更传统的形状分析方法。例如，一种稳健的网格分割形状分析方法是形状直径函数，它计算每个面的标量值以表示其局部厚度，然后将这些值聚类以获得分割区域。然而，基于学习的方法受到缺乏多样分割数据的限制，而传统方法在处理超过有限种类网格时效果不佳。最近，大型二维基础模型如Segment Anything（SAM）和SAM2在图像分割方面取得了最先进的结果。这重新激发了人们从聚合这些二维模型在网格多视图渲染中产生的掩码来接近三维分割的兴趣。然而，之前和当前用于网格分割的二维到三维提升方法仅限于语义组件分割，而不是部件分割，因为它们需要输入要分割部件的文本描述，这使得它们无法分割重复的对象（如手臂、手）。

SAMesh是一种零样本网格部件分割方法，仅需要输入网格。SAMesh由两个阶段组成：多模态渲染和二维到三维提升。在第一阶段，从不同角度的渲染图被单独输入到SAM2中以生成多视图掩码。此外，我们还从每个相应的视角渲染网格三角形面的ID。在提升阶段，我们使用多视图掩码和面ID来构建匹配图，该图用于将二维区域标签与其对应的三维部件相关联。具体来说，我们在该图上运行社区检测以获得粗略的网格部件分割，然后进一步后处理以获得最终分割。我们在无纹理设置下操作，并发现无纹理渲染不会使SAM2产生足够详细的二维掩码来区分网格部件。作为替代方案，我们发现SAM2可以在其他模态的输入上运行。具体来说，我们展示了通过将几何形状的法线渲染和ShapeDiam标量渲染都输入到SAM2中，我们可以获得比依赖单一模态更高质量的详细二维掩码和网格部件分割。

我们通过将我们的方法与ShapeDiam进行比较来评估我们的方法，后者在现有的网格部件分割基准测试中表现良好。我们展示了我们的方法在这些基准测试上的性能与ShapeDiam相当或超过其性能。由于这些基准测试中对象的多样性有限，我们整理并发布了一个通过生成模型创建的多样对象模型数据集。我们通过人工偏好评估表明，SAMesh产生的分割质量大大超过了ShapeDiam产生的分割质量。

下面一起来阅读一下这项工作~

1. 论文信息

标题：Segment Any Mesh: Zero-shot Mesh Part Segmentation via Lifting Segment Anything 2 to 3D

作者：George Tang, William Zhao, Logan Ford, David Benhaim, Paul Zhang

机构：MIT CSAIL、Backflip AI

原文链接：https://arxiv.org/abs/2408.13679

代码链接：https://github.com/gtangg12/samesh

2. 摘要

我们提出了Segment Any Mesh（SAMesh），这是一种新颖的零样本网格部件分割方法，该方法克服了基于形状分析、基于学习以及当前零样本方法的局限性。SAMesh的工作流程分为两个阶段：多模态渲染和2D到3D的提升。在第一阶段，网格的多视图渲染图被单独通过Segment Anything 2（SAM2）处理，以生成二维掩码。然后，通过跨多视图渲染图关联指向相同网格部件的掩码，将这些掩码提升为网格部件分割。我们发现，将SAM2应用于法线和形状直径标量的多模态特征渲染图，比仅使用网格的无纹理渲染图能取得更好的结果。通过将我们的方法建立在SAM2之上，我们能够无缝地继承未来对二维分割所做的任何改进。我们将我们的方法与一种稳健且经过充分评估的形状分析方法——形状直径函数（Shape Diameter Function，简称ShapeDiam）进行了比较，并展示了我们的方法在性能上与其相当或超过其性能。由于当前的基准测试包含的对象多样性有限，我们还整理并发布了一个生成的网格数据集，并使用它通过人工评估来展示我们的方法在泛化能力上对ShapeDiam的改进。我们的代码和数据集可在https://github.com/gtangg12/samesh上获取。

3. 效果展示

4. 主要贡献

我们的贡献包括：

• 我们提出了SAMesh，这是一种新颖的零样本方法，它将通过在多视图渲染上应用SAM2产生的掩码提升到三维网格部件分割。

• 我们展示了通过融合来自多模态渲染的掩码（特别是渲染的表面法线和ShapeDiam标量）可以提高性能。推荐课程：国内首个面向工业级实战的点云处理课程

• 我们将我们的方法与稳健且经过充分评估的形状直径函数进行了基准测试，并在现有数据集上展示了我们的方法的有效性。

• 由于这些现有基准测试没有表现出太多的对象多样性或复杂性，我们还从自定义的三维生成模型中整理了一个数据集，并使用它来证明我们方法的泛化能力。

5. 基本原理是啥？

SAMesh流程概述。在多模态渲染阶段，表面法线和ShapeDiam标量被渲染并输入到SAM2中，同时渲染出面ID。在2D到3D提升阶段，使用二维掩码和面ID构建匹配图，该图将指向相同网格部件的二维标签关联起来。最后，应用社区检测和后处理以获取网格部件分割。

6. 实验结果

7. 总结 & 未来工作

在本文中，我们提出了SAMesh，这是一种新颖的零样本网格部件分割方法，它利用多模态渲染和2D到3D提升技术。通过设计，SAMesh无缝地从二维分割的任何改进中受益。这一优势同时也成为了SAMesh效果的瓶颈，因为其效果依赖于底层SAM模型的性能。我们还注意到相对缺乏客观的3D分割度量标准。虽然这样的任务本质上是主观的，但我们认为更实用的界面倾向于更多的分割部件而不是更少的。

对于未来的工作，可以开发一个界面，允许人类用户使用二维视图来细化掩码，使他们能够执行诸如提示、平滑面和其他基于SAM的修改等任务。这种方法可以增强实际应用，如对象理解、纹理化和拓扑结构，在方法工作良好的情况下。对于更精确的任务，可以将人工干预集成到过程中以确保准确性。此外，我们可以利用这种人在环中的过程来整理数据集，并将其提炼为MeshCNN模型，类似于SAM的数据引擎。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。