[点云分割]-Multi-Path Region Mining For Weakly Supervised 3D Semantic Segmentation on Point Clouds

Multi-Path Region Mining For Weakly Supervised 3D Semantic Segmentation on Point Clouds

一种用于3D点云弱监督语义分割的多路径区域搜索方法
CVPR 2020
本文的亮点有两个：1对点云语义分割用弱监督训练，2 Multi-Path Region Mining模块，主要挖掘了attention机制在点云中的应用

摘要

原文	译文
Point clouds provide intrinsic geometric information and surface context for scene understanding.	点云对于场景理解提供了固有的几何信息和表面语境。
Existing methods for point cloud segmentation require a large amount of fully labeled data.	现有的点云分割方法需要大量的标注数据。
Using advanced depth sensors, collection of large scale 3D dataset is no longer a cumbersome process.	利用先进的深度传感器，大规模3D数据的采集不再是一个复杂的过程。
However, manually producing point-level label on the large scale dataset is time and labor-intensive.	但是，手动的进行逐点级别的标注需要大量人力和时间。
In this paper, we propose a weakly supervised approach to predict point-level results using weak labels on 3D point clouds.	本文提出了一种弱监督学习的方法，利用弱标签对点云进行逐点级别的预测和分割。
We introduce our multi-path region mining module to generate pseudo point-level label from a classification network trained with weak labels.	我们提出了multi-path region mining模块，用弱标签训练一个分类网络来产生每个点的伪标签。
It mines the localization cues for each class from various aspects of the network feature using different attention modules.	MPRM模块利用不同的attention模块，从特征图的不同方面挖掘各个类的位置线索。
Then, we use the point-level pseudo la-bels to train a point cloud segmentation network in a fully supervised manner.	然后，利用产生的伪标签来全监督地训练点云分割网络。
To the best of our knowledge, this is the first method that uses cloud-level weak labels on raw 3D space to train a point cloud semantic segmentation network.	据我们所知，本文是第一个利用原始点云弱标签来训练点云分割的网络。
In our setting, the 3D weak labels only indicate the classes that appeared in our input sample.	本文所提的方法中，3D弱标签仅仅表面出现在sample中点的类别。
We discuss both scene- and subcloud-level weakly labels on raw 3D point cloud data and perform in-depth experiments on them.	我们讨论了两种弱标签的方式，并且做了全面深入的实验。
On ScanNet dataset, our result trained with subcloud-level labels is compatible with some fully supervised methods.	在ScanNet数据集上，我们提出的弱监督的方法能够与全监督的结果一样。

亮点

multi-path region mining模块结构如图所示

分别提出了
Spatial Attention Module
Channel Attention Module
Point-wise Attention Module
其中，Spatial Attention Module和Point-wise Attention Module差不多，只是最后特征一个是res一个是concate了，这两个attention都是通过学习三个mlp来实现，和之前看到的point attention差不多，就是把不同点之间的影响加入了。
Channel Attention Module是不引进新的参数的，加入不同channel之间的影响，无参数的attention和skip-attention里有点像。

作者在实验部分对着三个模块也做了ablation

给出的结论肯定是3个结合在一起是最好的，但正如有些博主指出，这3个attention在一起会存在特征冗余现象，而且我自己也试了，感觉并不是融合最好。这里面感觉可以挖一挖细节，还可以进一步改进。
参考链接：
orientliu96
sinat_26743719