(CVPR 2020) PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation

Abstract

实例分割是场景理解的一项重要任务。与完全开发的2D相比，点云的3D实例分割还有很大的改进空间。在本文中，我们介绍了PointGroup，这是一种新的端到端自下而上的架构，特别专注于通过探索目标之间的空隙空间来更好地对点进行分组。我们设计了一个双分支网络来提取点特征并预测语义标签和偏移量，以将每个点移向其各自的实例质心。遵循聚类组件以利用原始点坐标集和偏移偏移点坐标集，利用它们的互补优势。此外，我们制定了ScoreNet来评估候选实例，然后使用非最大抑制(NMS)来删除重复项。我们在两个具有挑战性的数据集ScanNet v2和S3DIS上进行了广泛的实验，在这两个数据集上，我们的方法实现了最高性能，分别为63.6%和64.0%，而之前的最佳解决方案在IoU阈值为0.5的mAP方面实现了54.9%和54.4%。

1. Introduction

实例分割是一项基本且具有挑战性的任务，不仅需要预测语义标签，还需要预测场景中每个目标的实例IDs。鉴于室外和室内环境在自动驾驶、机器人导航等方面的潜在应用，它最近引起了极大的兴趣。

卷积神经网络提高了2D实例分割的性能[10, 17, 29, 5]。然而，给定无序和非结构化的3D点云，2D方法不能直接扩展到3D点，这使得后者仍然非常具有挑战性[49,19,53]。在本文中，我们通过探索3D目标之间的空隙空间以及语义信息来解决具有挑战性的3D点云实例分割任务，以更好地分割单个目标。

图 1：我们的ScanNet v2方法的3D实