【最新综述】史上最全面的3D语义分割综述（上）

Deep Learning Based 3D Segmentation: A Survey

ABSTRACT

        三维分割是计算机视觉领域的一个基本而具有挑战性的问题，可应用于自动驾驶、机器人、增强现实和医学图像分析。它受到了计算机视觉、图形学和机器学习界的极大关注。传统的三维分割方法基于手工创建的特征和机器学习分类器，缺乏泛化能力。在二维计算机视觉领域取得成功的推动下，深度学习技术最近已成为三维分割任务的首选工具。这导致文献中出现了大量在不同基准数据集上进行评估的方法。虽然存在关于 RGB-D 和点云分割的调查论文，但缺乏涵盖所有三维数据模式和应用领域的深入的最新调查。本文填补了这一空白，对基于深度学习的三维分割领域的最新进展进行了全面调查。它涵盖了 180 多项研究成果，分析了它们的优势和局限性，并讨论了它们在基准数据集上的竞争结果。调查总结了最常用的管道，最后强调了未来有前景的研究方向。

1. Introduction

        三维场景分割是计算机视觉和计算机图形学中的一个基本而又具有挑战性的问题。三维分割的目标是建立能预测三维场景中物体细粒度标签的计算技术，以广泛应用于自动驾驶、移动机器人、工业控制、增强现实和医学图像分析等领域。如图 1 所示，三维分割可分为三种类型：语义分割、实例分割和部分分割。语义分割旨在预测物体类别标签，如桌子和椅子。实例分割还能区分同一类别标签的不同实例，例如桌子一/二和椅子一/二。部件分割的目的是将实例进一步分解为不同的组件，如同一把椅子的扶手、椅腿和靠背。

        与传统的单视角二维分割相比，三维分割能更全面地了解场景，因为三维数据（如 RGB-D、点云、体素、网格、三维视频）包含更丰富的几何、形状和比例信息，背景噪音更少。此外，三维数据的表示形式，例如投影图像，具有更多的语义信息。

        最近，深度学习技术在计算机视觉和自然语言处理等许多研究领域占据了主导地位。由于深度学习在学习强大特征方面的成功，用于三维分割的深度学习已在过去十年中，三维深度学习方法也吸引了研究界越来越多的关注。然而，三维深度学习方法仍面临许多尚未解决的难题。例如，点云的不规则性使其难以利用局部特征，而将其转换为高分辨率体素又会带来巨大的计算负担。

        本文全面介绍了三维分割深度学习方法的最新进展。它重点分析了常用的构建模块、卷积核和完整架构，指出了每种情况下的利弊。调查涵盖了过去五年中发表的 180 多篇代表性论文。尽管已经发布了一些著名的三维分割调查报告，包括 RGB-D 语义分割 Fooladgar遥感图像分割 Yuan, Shi and Gu (2021)，点云分割 Xie, Jiaojiao