论文标题:Instance-Aware Embedding for Point Cloud Instance Seg
论文链接:https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123750256.pdf
论文发表:ECCV2020
目前尚未开源。
1
引言
该论文是关于点云的语义分割和实例分割类的文章。在计算机视觉点云是一个非常常见的概念,它特指在某个坐标系下点的数据集,其中每个点包含了丰富的信息,包括三维坐标X,Y,Z、颜色、分类值、强度值、时间等。点云可以将现实世界原子化,通过高精度的点云数据可以还原现实世界,可以说万物皆点云。点云语义分割简单的说就是给每个点一个label,比如说这个点是电脑还是杯子。
实例分割是指在语义分割的同时,把每个不同的物体给分割出来,比如一个房间里有很多物品,将这些物体中点进行分类。要知道在二维图像中进行实例分割可以达到一个不错的效果,但是对于三维点云的研究却远远落后。
传统的方法使用半径搜索或其他类似的方法来聚集局部信息。然而,这些方法不知道实例的上下文,无法实现实例的边界和几何信息,这对分离相邻对象至关重要。在该论文中作者通过提出一个实例感知模块来研究三维实例感知知识的影响。并且实验结果在精度和效率上都优于以往的方法。
2
论文贡献
该论文的贡献可以归结为如下三点,分别如下所示:
•作者提出了一个新的实例感知模块,成功地编码了与实例相关的上下文信息,用于三维点云实例分割。
•该方法对实例相关的几何信息进行显式编码,信息量大,有助于生成有区别的嵌入特征。
•该框架可以进行端到端的训练,在效率和有效性上都优于以往的方法。利用所提出的方法,可以在不同的任务上获得最新的结果。
3
模型介绍
3.1网络结构
论文中作者采用了一个Encoder-Decoder架构,编码器由两个任务共享。输入为点集,为点的总数,为输入特征维数,其中输入特征包括颜色和位置信息,如X、Y、Z、R、G、B。解码器包含两个并行分支:一个用于语义分割,另一个实例嵌入编码。语义分割分支生成逐点分类结果,其中为类别数。焦点损失用于解决训练过程中的类别不平衡。
此外,每个点的编码向量的实例分支输出具有学习距离度量的特征,其中为嵌入维数。属于同一个实例的编码向量应