iccv2020论文_【论文分享沙龙 | 2020第022期】感知占用的3D实例分割

论文分享沙龙 2020第02期

分享人：中国矿业大学硕士生 郭睿

研究方向： 计算机视觉 | 3D点云分割

论文标题：OccuSeg: Occupancy-aware 3D Instance Segmentation(感知占用的3D实例分割)论文来源：ICCV 2020研究方向：3D点云分割论文下载：https://arxiv.org/pdf/2003.06537.pdf

1. 背景

3D实例分割，在机器人技术和增强现实技术中有多种应用，是当今的大需求。不同于2D图像是环境的投影观察，3D模型提供了场景的度量重建，没有遮挡或比例模糊。在本文中，我们定义“三维占用大小”，即每个实例所占用的体素数。在此基础上，提出了一种基于占位感知的三维实例分割方案OccuSeg.

2. 方法

提出了一种基于占用感知的三维实例分割方法OccuSeg。以三维几何模型为输入，逐点预测实例级语义信息，如图1所示。鉴于三维度量空间比基于2D图像的投影观察提供了更可靠的感知，我们特别引入了3D占用信号，表示每个实例所占用的体素的数量。这样的占位信号代表了每个3D实例的内在和基本属性，显示了处理三维设置下尺度、位置、纹理、光照和遮挡的模糊性的强大潜力。因此，我们将新的占用信号编码到传统的三维实例分割管道中，即学习阶段，聚类阶段。在我们的占位感知方法中，学习和聚类阶段都充分利用了占位信号的特征，从而在公共数据集上实现了竞争性能。在地图上的相当大的增益(约12.3)进一步证明了我们的占领意识方法在保存实例的内在和基本性质在三维环境的优势。

主要创新点:

• 提出了一种基于占用感知的3D实例分割方案OccuSeg。它在三个公共数据集上实现了最先进的性能。

• 特别地，本文提出了一种新的占用信号，它可以预测每个实例中被占用的体素数。将特征与空间嵌入相结合，共同学习占用信号，用于引导聚类阶段的3 d实例分割。

2.1 多任务学习

2.1.1 集成学习

我们主要观察到的是，虽然空间嵌入是可感知尺度的，并且有明确的物理解释，比如从当前体素到其所属实例的空间中心的偏移向量，但特征嵌入存在固有的模糊尺度，因此必须使用额外的代价函数进行规则化。

空间术语。第i个体素的空间嵌入di是一个回归到对象中心的三维向量，使用以下空间术语进行监督:

功能项。特征嵌入si是通过判别损失函数来学习的，该函数包括三个项

协方差项的目的是学习每个实例的最优聚类区域。得到联合项：

2.1.2、入住率回归

为了利用3D设置下的占用信息，对于第c个实例中的第i个体素，我们预测为正的值oi表示当前实例占用的体素数量。然后，oi的平均值将作为当前实例的预测占用大小。为了更可靠的预测，我们回归对数而不是原始值，并形成以下占用项为了评估我们的占用预测策略的可行性，我们使用相对预测误差Rc来衡量第c个实例的占用预测性能，

2.2、实例集群

在本节中，基于上一阶段的多表示学习，引入了一种基于图的占位感知聚类方案来解决推理过程中的三维实例分割问题。具体来说，我们采用自底向上的策略，使用高效的基于图的分割方案将输入的体素分组为超体素。与二维空间中的超像素表示相比，超体素表示可以更好地分离不同的实例，而三维空间中的实例边界由于采用了几何连续，更容易识别。

3. 实验与分析

作者在ScanNetV2、S3DIS和SceneNN数据集上做了广泛的实验

4. 总结

提出了一种基于占用感知的三维实例分割方法OccuSeg。主要有两个创新点：提出了一种基于占用感知的3D实例分割方案OccuSeg。它在三个公共数据集上实现了最先进的性能。提出了一种新的占用信号，它可以预测每个实例中被占用的体素数。将特征与空间嵌入相结合，共同学习占用信号，用于引导聚类阶段的3d实例分割。在现有的数据集上均达到了state-of-art水平。

排版编 辑 ： 倪 文 鑫 综合策划：何   欣