CVPR 2020——OccuSeg: Occupancy-aware 3D Instance Segmentation

Abstract

• 定义“3D occupancy size”，即每个实例所占用的体素数。
• 在此基础上，提出了一种基于occupancy-aware的三维实例分割方案OccuSeg。
• 论文的多任务学习产生了 occupancy signal和embedding representations，在这两个representations中，对空间和特征嵌入的训练随着它们在scale-aware上的不同而不同。
• 论文的聚类方案得益于预测的occupancy size 和聚类occupancy size 之间的可靠比较，这有助于正确地对hard samples进行聚类，避免过度分割。
• 该方法在保持高效率的同时，在3个真实数据集(即ScanNetV2、S3DIS和SceneNN)上实现了最先进的性能。

（一）Introduction

• 以三维几何模型为输入，逐点预测实例级语义信息.
• 如图1所示。鉴于三维度量空间比基于2D图像的投影观察提供了更可靠的感知，特别引入了“3D occupancy signal”，表示每个实例所占用的体素的数量。
• 这样的occupancy signal代表了每个3D实例的内在和基本属性，显示了处理三维设置下尺度、位置、纹理、光照和遮挡的模糊性的强大潜力。
• 将新的occupancy signal编码到传统的三维实例分割管道中，即：学习阶段，聚类阶段。
• 在occupancy-aware方法中，学习和聚类阶段都充分利用了occupancy signal的特征，从而在公共数据集上实现了竞争性能。

具体步骤：

1. 学习阶段以彩色3D场景为输入，利用空间稀疏卷积方法为每个体素提取一个混合向量。它不仅学习了经典的嵌入方法，如空间嵌入(图1(d))和特征嵌入(图1(e))，还产生了occupancy signal(图1(f))，这意味着object-level volume。
2. 为了充分利用语义信息和几何信息，特征和空间嵌入被明确地以不同的目标进行监督，并进一步通过对特征和空间嵌入距离的协方差估计进行组合。
3. 在聚类阶段，使用基于图的分割算法<< Efficient
   graph-based image segmentation.>>，根据几何和外观约束将三维输入点云分组为超体素。
4. 然后，将嵌入相似特征的超体素合并到同一实例中，利用自适应阈值评估嵌入距离与occupancy size的相似性。
5. 借助预测的occupancy size和聚类occupancy size之间的可靠比较，论文的聚类方法使得hard samples 被正确地聚类，并消除了部分实例被识别为独立实例的假阳性。

贡献:

1. 提出了一种基于occupancy-aware 的三维实例分割方案OccuSeg。它在三个公共数据集上实现了最先进的性能:ScanNetV2、S3DIS和SceneNN，在所有指标上都以显著的优势排名第一，同时保持高效率.
2. 提出了一种新的occupancy signal，它可以预测每个实例中被占用的体素数量。将特征与空间嵌入相结合，共同学习occupancy signal，用于指导三维实例分割的聚类阶段。

（二）Related Work

~~

（三）Methods

目标：

• 将一个体素化的3D彩色场景作为输入，并为每个体素生成一个3D对象实例标签，其中属于同一对象的体素共享一个惟一的实例标签。

现有方法不足：

• 目前很少明确地利用了不同于2D图像观测的3D模型的固有特性：在没有遮挡或尺度模糊的情况下重建度量空间中的环境。

发现：

• 如图2，同一实例在三维空间中，其在二维图像上的观测结果可能会有很大差异。每个实例占用的像素/体素数(表示occupancy)在二维图像上是不可预测的，但可以从重建的三维模型中得到可靠的预测。

论文idea：

在occupancy signal的基础上，提出了一种occupancy-aware的三维实例分割方案。虽然它遵循经典的学习再聚类过程，但是学习阶段和聚类阶段都不同于现有的方法。

网络流程：

1. 首先将输入的三维场景在2cm分辨率下进行体素化，
2. 然后送入三维卷积神经网络(UNet)进行特征提取。
3. 将学习到的特征转发给task-specific heads，学习每个输入体素的不同表示，包括语义分割，目的是分配类标签，特征和空间嵌入，以及 occupancy regression(第3.1节)。
4. 最后，提出了一种graph-based occupancy-aware clustering scheme，该方案利用了预测的occupancy information和前一阶段的feature embedding(第3.2节)。
5. 所有的3D卷积都是使用子流形稀疏卷积网络实现的，利用了输入3D场景的稀疏性。 该网络的详细信息在附录中提供。

3.1. Multi-task Learning

目的： 同时利用三维场景中固有的occupancy以及语义和空间信息。

提出了一个多任务学习框架来学习第$i$个输入体素的task-specific representations ，包括:

1. 语义分割$c_i$，目的是分配类标签;
2. $s_i$和$d_i$ for 联合特征和空间嵌入，以及相应的$b_i$ for 协方差预测，以融合特征和空间信息;
3. $o_i$ for occupancy regression。

对网络进行训练，使联合损失函数最小化：
$$L=L_c+L_e+L_o----------(2)$$

• $L_c$是一种传统的用于语义分割的交叉熵损失。
• $L_e$目的是学习一种综合考虑feature and spatial embedding的嵌入向量，用于实例分割。
• $L_o$用于回归每个体素所属实例的occupancy size。

3.1.1 Embedding Learning

与以往直接将特征和空间嵌入相结合的方法不同，论文将它们分开，并用不同的目标监督它们的学习过程。

• 虽然空间嵌入是尺度感知的，并且具有明确的物理解释，例如从当前体素到其所属实例的空间中心的偏移向量，
• 但是特征嵌入存在固有的模糊尺度，因此必须使用附加的代价函数进行正则化。
• 利用协方差估计进一步正则化了两个嵌入。
• 用于嵌入$L_c$的学习函数包含三个项的元素列表，即空间项$L_{sp}$、特征项$L_{sc}$和协方差项$L_{cov}$:
  $$L_e=L_{sp}+L_{se}+L_{cov}----------(2)$$

Spatial Term.

第$i$个体素的空间嵌入$d_i$是一个回归到对象中心的3维向量，使用以下空间术语对其进行监督：
$$L_{sp}=\frac{1}{C}\sum _{c=1}^C\frac{1}{N_c}\sum _{i=1}^{N_c}\Vert d_i+u_i-\frac{1}{N_c}\sum _{i=1}^{N_c}{u}_i\Vert --------(3)$$

• $C$是输入3D场景中实例的数量
• $N_C$是是第c个实例中的体素的数量
• $u_i$是第c个实例中第i个体素的3D位置。

Feature Term.

包含三个项的判别损失函数来学习特征嵌入$s_i$。
$$L_{sc}=L_{var}+L_{dist}+L_{reg}----------$$