CVPR 2019 | Associatively Segmenting Instances and Semantics in Point Clouds

Abstract

3D点云准确直观地描述真实场景。迄今为止，很少有人讨论如何在这样一个信息丰富的3D场景中分割多样化的元素。在本文中，我们首先介绍了一个简单灵活的框架来同时分割点云中的实例和语义。然后，我们提出了两种方法，使两个任务相互利用，从而实现双赢。具体来说，我们通过学习语义感知点级实例嵌入，使实例分割受益于语义分割。同时，将属于同一实例的点的语义特征融合在一起，以做出更准确的逐点语义预测。我们的方法在很大程度上优于3D实例分割中的最新方法，并且在3D语义分割方面有显着改进。代码已在以下位置提供：https://github.com/WXinlong/ASIS。

1.Introduction

实例分割和语义分割都旨在检测由场景中最小单元集表示的特定信息区域。例如，可以将点云解析为点组，其中每个组对应于一类东西或一个单独的实例。这两个任务是相关的，并且都在实际场景中具有广泛的应用，例如自动驾驶和增强现实。尽管近年来[10,6,21,34,16]对于每个单个任务都取得了很大进展，但没有先前的方法可以关联地处理这两个任务。

事实上，实例分割和语义分割在某些方面是相互冲突的。前者清楚地区分同一类的不同实例，而后者希望它们具有相同的标签。但是，这两个任务可以通过寻求共同点相互合作。语义分割区分不同类的点，这也是实例分割的目的之一，因为不同类的点必须属于不同的实例。此外，实例分割为属于同一实例的点分配相同的标签，这也与语义分割一致，因为同一实例的点必须属于同一类别。这一观察让人想知道如何将这两项任务关联在一起以实现双赢的解决方案？