基于感知能力的点云实例分割

最新推荐文章于 2024-08-13 13:46:57 发布

OpenCV中文网公众号

最新推荐文章于 2024-08-13 13:46:57 发布

阅读量715

点赞数

文章标签：计算机视觉机器学习人工智能深度学习神经网络

本文链接：https://blog.csdn.net/bevison/article/details/109302689

版权

本文介绍了一篇ECCV2020的论文，探讨点云实例分割问题。研究提出实例感知模块（IAM），通过编码实例相关的上下文信息和几何信息，改善点云实例分割的精度和效率。实验表明，该方法在S3DIS、ScanNetV2和PartNet数据集上取得优越性能，特别是在处理密集场景和区分相邻实例时表现出优势。

摘要由CSDN通过智能技术生成

论文标题：Instance-Aware Embedding for Point Cloud Instance Seg

论文链接：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123750256.pdf

论文发表：ECCV2020

目前尚未开源。

引言

该论文是关于点云的语义分割和实例分割类的文章。在计算机视觉点云是一个非常常见的概念，它特指在某个坐标系下点的数据集，其中每个点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等。点云可以将现实世界原子化，通过高精度的点云数据可以还原现实世界，可以说万物皆点云。点云语义分割简单的说就是给每个点一个label，比如说这个点是电脑还是杯子。

实例分割是指在语义分割的同时，把每个不同的物体给分割出来，比如一个房间里有很多物品，将这些物体中点进行分类。要知道在二维图像中进行实例分割可以达到一个不错的效果，但是对于三维点云的研究却远远落后。

传统的方法使用半径搜索或其他类似的方法来聚集局部信息。然而，这些方法不知道实例的上下文，无法实现实例的边界和几何信息，这对分离相邻对象至关重要。在该论文中作者通过提出一个实例感知模块来研究三维实例感知知识的影响。并且实验结果在精度和效率上都优于以往的方法。

论文贡献

该论文的贡献可以归结为如下三点，分别如下所示：

•作者提出了一个新的实例感知模块，成功地编码了与实例相关的上下文信息，用于三维点云实例分割。

•该方法对实例相关的几何信息进行显式编码，信息量大，有助于生成有区别的嵌入特征。

•该框架可以进行端到端的训练，在效率和有效性上都优于以往的方法。利用所提出的方法，可以在不同的任务上获得最新的结果。

模型介绍

3.1网络结构

论文中作者采用了一个Encoder-Decoder架构，编码器由两个任务共享。输入为点集，为点的总数，为输入特征维数，其中输入特征包括颜色和位置信息，如X、Y、Z、R、G、B。解码器包含两个并行分支：一个用于语义分割，另一个实例嵌入编码。语义分割分支生成逐点分类结果，其中为类别数。焦点损失用于解决训练过程中的类别不平衡。