3d实例分割的调研

Introduction

实现有效的三维场景理解(3D scene understanding)是计算机视觉和人工智能领域的关键问题之一。近年来，针对三维点云理解的研究取得了显著的进展，在诸如点云目标检测，语义分割等任务上都展现出了很不错的效果。然而，针对于点云实例分割的研究还处于较为初级的阶段。

当前主流的点云实例分割算法可以分为以下两类：

1）基于候选目标框(Proposal-based methods)的算法

例如3D-SIS[1]，GSPN[2]，这类方法通常依赖于两阶段的训练(two-stage training)和昂贵的非极大值抑制(non-maximum suppression, NMS)等操作来对密集的proposal进行选择。
[8] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang

2）无候选目标框的算法(Proposal-free methods)

例如SGPN[3], ASIS[4], JSIS3D[5], MASC[6], 3D-BEVIS[7]等。这类算法的核心思想是为每个点学习一个discriminative feature embedding，然后再通过诸如mean-shift等聚类(clustering)方法来将同一个instance的点聚集(group)到一起。这类方法的问题在于最终聚类到一起的instance目标性(objectness)比较差。此外，此类方法后处理步骤(post-processing)的时间成本通常较高。
[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang
[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang

2D和3D结合

[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich
3D-BoNet https://github.com/Yang7879/3D-BoNet