《论文阅读07》Segment Anything in 3D with NeRFs

Darren214

已于 2023-06-26 20:07:02 修改

阅读量1.3k

点赞数 1

分类专栏：科研论文文章标签：论文

于 2023-06-25 20:26:44 首次发布

本文链接：https://blog.csdn.net/peng_258/article/details/131367841

版权

SA3D是一种将2D的SegmentAnythingModel(SAM)扩展到3D的方法，通过结合神经辐射场(NeRF)技术。给定NeRF和少量手动提示，SA3D能进行3D对象分割，通过迭代的掩模逆渲染和跨视图自提示过程完成。这种方法在多种场景和任务中表现有效，提供了一种资源高效的方式将2D视觉模型转换为3D应用。

摘要由CSDN通过智能技术生成

一、论文

研究领域：图像分割(3D)
论文：Segment Anything in 3D with NeRFs
Submitted on 24 Apr 2023 (v1), last revised 1 Jun 2023 (this version, v3)
Computer Vision and Pattern Recognition (cs.CV)
nvos数据集
论文链接

二、论文概要

三、全文翻译

使用NeRFs在3D中分割任何内容

摘要

最近，Segment Anything Model（SAM）作为一种强大的视觉基础模型出现，它能够分割2D图像中的任何东西。本文的目的是推广SAM分割三维物体。我们设计了一种高效的解决方案，而不是复制3D中昂贵的数据采集和注释过程，利用神经辐射场（NeRF）作为将多视图2D图像连接到3D空间的廉价和现成的先验。我们将所提出的解决方案称为SA3D，即Segment Anything in 3D。只需要提供手动分割提示（例如，粗糙点），其用于在具有SAM的该视图中生成其2D掩模。接下来，SA3D交替地执行掩模逆绘制和跨视图自提示，以迭代地完成用体素网格构造的目标对象的3D掩模。前者在NeRF学习的密度分布的指导下，将SAM在当前视图中获得的2D掩模投影到3D掩模上;后者提取可靠的提示自动作为SAM的输入从NeRF渲染的2D掩模在另一个视图。我们在实验中表明，SA3D适应各种场景，并在几分钟内实现3D分割。我们的研究提供了一个通用的和有效的方法，以解除2D视觉基础模型到3D，只要2D模型可以稳定地解决提示分割跨多个视图。项目页面位于www.example.com。https://jumpat.github.io/SA3D/.

介绍

计算机视觉社区一直在追求可以执行基本任务（例如，在任何场景中并且对于2D或3D图像数据，可以使用图像分割（例如，图像分割）。最近，Segment Anything Model（SAM）[22]出现并吸引了很多关注，因为它能够分割2D图像中的任何东西，但将SAM的能力推广到3D场景仍然大多数未被发现。人们可以选择复制SAM的流水线来收集和半自动注释一大组3D场景，但昂贵的负担似乎是大多数研究小组负担不起的。