CVPR 2020——PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation

论文：https://arxiv.org/abs/2004.01658
源码：https://github.com/Jia-Research-Lab/PointGroup

Abstract

• 介绍了PointGroup，这是一种新的端到端自下而上的体系结构，着重关注于通过探索对象之间的空隙空间更好地对点进行分组。
• 设计了一个两分支网络来提取点特征并预测语义标签和偏移量，以将每个点移向其各自的实例质心。
• 后接一个聚类，以利用原始点和偏移位移点坐标集的优势。
• 制定ScoreNet来评估候选实例，然后使用非最大抑制（NMS）来删除重复项。
• 在两个数据集ScanNet v2和S3DIS上进行了实验，获得最高的性能，分别为63.6％和64.0％。

（一） Introduction

目前存在的困难：

• 实例分割不仅需要预测语义标签，而且还需要预测场景中每个对象的实例ID。
• 卷积神经网络提高了二维实例分割的性能。但是，在无序和无结构的3D点云的情况下，不能将2D方法直接扩展到3D点，并使3D点仍然非常具有挑战性。

应用：

• 在自动驾驶，机器人导航等在室外和室内环境中的有潜在应用。

改进： 通过探索3D对象之间的空隙空间以及语义信息来更好地分割，从而解决了具有挑战性的3D点云实例分割任务。

流程：

1. 利用语义分割骨架来提取描述性特征并预测每个点的语义标签。
2. 采用偏移分支来学习相对偏移，以将每个点移至其各自的ground-truth实心质心。通过这种方式，可以将同一对象实例的点移向同一质心并将其收集得更近，从而可以更好地将点分组为对象并分离同一类别的附近对象。
3. 借助预测的语义标签和偏移量，采用一种简单而有效的算法将点分组为聚类。
4. 对于每个点，以其坐标为参考，将其与相同标签的附近点分组，然后逐步扩展该组。
5. 在两个单独的通道中考虑了两个坐标集–原始点位置和那些偏移了预测​​偏移的位置。此过程为 “Dual-Set Point Grouping.”。 两种结果互为补充，以实现更好的性能。
6. 设计了ScoreNet来评估和选择候选组。
7. 最后采用非最大抑制来消除重复的预测。

贡献：

• 提出了一个名为PointGroup的自底向上3D实例分割框架，以处理具有挑战性的3D实例分割任务。
• 提出一种基于双坐标集（即原始和移动集）的点聚类方法。与新的ScoreNet一起，可以更好地分割对象实例。
• 所提出的方法在各种具有挑战性的数据集上均达到了最新水平，证明了其有效性和普遍性。

（二） Related Work

看论文吧~~

（三） Our Method

3.1. Architecture Overview

为了获得3D对象的实例级分割标签，考虑两个问题：

1. 首先是分开将3D空间中的内容分成单个对象。
2. 第二个是确定每个对象的语义标签。

与2D图像不同，在3D场景中不存在视图遮挡问题，散布在3D中的对象通常被空白空间自然分隔。 因此，利用3D对象的这些特征，根据语义信息将3D内容分组为对象实例。

图释：

• 网络体系结构，该体系结构包含三个主要组件，即（a）骨干网，（b）聚类部分和（c）ScoreNet ；
• 骨干网的输入（a）是一个$N$点的点集$P$。每个点都有一个颜色$f_i=\left(r_i,g_i,b_i\right)$和3D坐标$p_i=\left(x_i,y_i,z_i\right)$，其中 i ∈ { 1 , . . . , N } i\in \left \{1,...,N\right \} i∈{ 1,...,N}。
• 主干网络提取每个点的特征$F_i$， F = { F i } ∈ R N × K F=\left \{F_i\right \}\in R^{N\times K} F={ Fi​}∈RN×K，K是通道数。
• 将F馈入两个分支，一个分支用于语义分割，另一个分支用于预测每点偏移向量，使用两个分支生成偏移向量 O = { o i } O=\left \{o_{i}\right \} O={ oi​}和语义标签 S = { s i } S=\left \{s_{i}\right \} S={ si​}，$o_i=(△x_i，△y_i，△z_i)$。
• 获取语​​义标签后，根据对象之间的空白空间将点分组为实例簇。将彼此接近的点归为同一聚类（如果它们具有相同的语义标签）。(直接基于点坐标集 P = { p i } P = \left \{p_i\right \} P={ pi​}进行聚类可能无法分离在3D空间中彼此靠近的相同类别的对象并对其进行错误分组，例如，两张并排悬挂的图片墙)。
• 将学习到的偏移$o_i$去位移点$i$朝向其各自的实例质心，并获得位移坐标$q_i=p_i+o_i\in R^3$。
• 对于与$p_i$不同的属于同一对象实例的点，偏移的坐标$q_i$围绕同一质心。因此，通过基于移动的坐标集 Q = { q i } Q = \left \{q_i\right \} Q={ qi​}进行聚类，即使它们具有相同的语义标签，也可以更好地分离附近的对象。
• 但是，对于靠近对象边界的点，预测的偏移可能不准确。聚类算法使用“dual”点坐标集，即原始坐标$P$和移动坐标$Q$。在$P$上进行聚类可能会将附近的同一类别的对象误分组，而在$Q$上进行聚类则不会出现此问题，但可能无法处理大对象的边界点。
• 将聚类结果$C$表示为$C^p=\left\{C_1^P,...,C_{M_p}^p\right\}$和$C^q=\left\{C_1^q,...,C_{M_q}^q\right\}$的并集，分别是基于$P$和$Q$发现的聚类。$M_p$, $M_q$分别表示$C_p$和$C_q$中的簇数，$M=M_p+M_{}$