CVPR2020：点云弱监督三维语义分割的多路径区域挖掘

CVPR2020：点云弱监督三维语义分割的多路径区域挖掘

Multi-Path Region Mining for Weakly Supervised 3D Semantic Segmentation on Point Clouds

论文地址：

https://openaccess.thecvf.com/content_CVPR_2020/papers/Wei_Multi-Path_Region_Mining_for_Weakly_Supervised_3D_Semantic_Segmentation_on_CVPR_2020_paper.pdf

摘要

点云为场景理解提供了内在的几何信息和表面环境。现有的点云分割方法需要大量的全标记数据。利用先进的深度传感器，采集大规模三维数据集不再是一个繁琐的过程。然而，在大规模数据集上手工生成点级标签是一项费时费力的工作。本文提出了一种在三维点云上利用弱标签预测点级结果的弱监督方法。我们引入多径区域挖掘模块，从训练了弱标签的分类网络中生成伪点级标签。它使用不同的注意模块从网络特征的各个方面挖掘每个类的定位线索。然后，利用点级伪标签对点云分割网络进行全监督训练。据我们所知，这是第一种在原始三维空间上使用云级弱标签来训练点云语义分割网络的方法。在我们的设置中，3D弱标签只指示在输入示例中出现的类。我们讨论了在原始三维点云数据上的场景级和亚云级的弱标签，并对它们进行了深入的实验。在ScanNet数据集上，我们的训练结果与一些完全监督的方法是兼容的。

1．介绍

与2D图像相比，3D数据作为现实世界的投影，带来了物体和场景的几何和周围环境以及它们的RGB信息。这些额外的暗示最近引起了人们的注意。随着深度学习在二维图像视觉任务中的巨大成功，研究人员提出了许多基于深度学习的点云识别任务方法。然而，基于深度学习的方法通常需要大量的数据。近年来，重建算法的进步和更为经济实惠的消费者级深度传感器为三维数据采集提供了方便和廉价的途径。然而，对这些数据的注释仍然需要耗费大量的人力和时间。特别是对于三维数据，需要对重建的三维网格或分组点进行直接标记。例如，ScanNet[8]是一个流行的真实室内环境的大型RGBD数据集，它提供了来自70个独特室内场景的1513次三维扫描，包含超过250万个RGB-D图像。然后利用RGB-D扫描重建三维网格和点云。使用可以连接到智能手机和ipad等移动设备上的Structure sensor[31]，只有20人参与了1513次3D扫描的收集。尽管数据收集方便，但注释过程却是非常费时费力的。据统计，共有500余部作品参与了语义标注过程。为了保证注释的准确性，每个场景由2到3名参与者进行注释。总的来说，每次扫描标注的中位和平均时间分别为16.8min和22.3min。本文提出了一种基于弱监督学习的三维点云语义分割方法。为了减少数据注释中的人工成本，我们使用了弱标签，这些标签只指示在输入点云示例中出现的类。因此，我们只能训练一个标签较弱的分类网络。为了寻找分类网络的目标区域，我们将类激活图（CAM）[45]引入到三维点云中，这是一种有效的二维图像中类特定区域定位方法。然而，CAM通常只