基于java的语义分割,NeruIPS2019 | 深圳大学提出点云语义分割框架ELGS，效果拔群（代码已开源）...

标题：Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations

作者：Xu Wang,  Jingming He( Shenzhen University ), Lin Ma∗(Tencent AI Lab)

来源：NeurIPS 2019

链接：https://arxiv.org/abs/1911.05277

github：https://github.com/fly519/ELGS

摘要

本文提出了一种新的点云语义分割模型，该模型基于点云的上下文表示，同时利用点云内部的局部结构和全局结构。具体来说，我们通过对每个点本身及其上下文点进行一种新颖的门控融合来丰富每个点的特征表达。然后，在此基础上，提出了一个新的图点云网络模块(GPM, graph pointnet module)，该模块利用图注意力模块GAB(graphattention block)在局部点云结构中动态地组成和更新每个点的特征。最后，我们采用空间和通道的注意力策略来探索点云的全局结构，从而为每个点生成语义标签。我们在公开点云数据库(S3DIS和ScanNet数据集)上进行了实验，实验结果证明了我们提出的模型的有效性，超过了目前最先进的方法。本文的代码已开源https://github.com/fly519/ELGS

网络结构

网络分为三个部分，分别是point enrichment, feature representation, prediction。

1. point enrichment部分

利用门控融合策略，来丰富点云的初始特征，使每个点携带一定的邻域点云特征。

2.feature representation

图点云网络模块(GPM, graph pointnet module)，首先利用MLP提取特征，然后利用图注意力模块GAB(graph attention block)来表征点云之间相似性，并进一步计算点云互相之间的影响因子，通过特征的加权求和获得每个点的特征表示。最后利用maxpooling实现特征聚合。

GAB的方法来自于ICLR2018的论文：Graph attention networks.

3.prediction

用到了两种注意力机制，Spatial-wise Attention和Channel-wise Attention，两者计算过程类似，以前者为例：对于输入的特征F，分别送入到三个全连接层里，得到三个新的特征图A,B,D。先把D留着，利用AB来计算注意力因子。计算方法是先将A,B按照特定的对应方式进行相乘，保持空间结构不变，接着用公式计算出第j个点对于第i个点的影响因子：

接下来，把这个影响因子跟刚才被放在一旁的特征图D进行相乘求和，同样需要注意对应位置。得到第i个点对应的特征为：

最后，再把这个特征和最初的F进行相加，就大功告成了。第i点的基于空间维注意力机制的特征为：

channel-wise attention与上述过程类似。

prediction的最后，把上述两种基于注意力机制的特征求和，经过全连接层，即可估计出点的语义分割标签。

实验结果

S3DIS数据集上的语义分割结果：

可视化结果如下图所示，从上到下的四行依次表示：原始点云，pointnet++结果，本文结果，真实标签。可见效果非常好。

忍无可忍地点击一下“在看”