GeoNet Deep Geodesic Networks for Point Cloud Analysis

文章下载链接：https://arxiv.org/pdf/1901.00680.pdf

 

摘要：基于表面的测量拓扑理论为目标的语义分析和几何建模研究提供了强有力的线索。但是，对于点云数据而言，这种关联信息往往会丢失。因此，本文提出一种 GeoNet 模型，这是第一个用于模拟点云数据表面结构的深度学习方法。此外，为了证明模型所学习的信息表示的适用性，本文进一步提出了一种融合方案，用于将 GeoNet 网络与其他基线或骨干网络 (如 PU-Net 和 PointNet ++) 结合使用，用于点云数据的 down-stream 分析。大量的实验结果表明，所提出的方法能够在多个代表性的任务 (这些任务受益于底层的表面拓扑信息的理解) 上改进当前最先进方法的性能，包括点上采样，正常估计，网格重建和非刚性形状分类等。

 

目的：本文旨在开发一种针对潜在曲面拓扑学和物体几何学的点云数据的表示，进而提出一种利用已学习的拓扑学特征分析测地性点云的方法。这一表示可捕捉一个点云的不同拓扑学模式，并且这一方法不会改变数据流，因此这种方法的表示可实现联合学习，与当前最优的 baseline 或 backbone 相结合，比如 PU-Net，PointNet++。

图1

图1左边红色方框中，上下这两组点虽然看起来不相连，但实际上应该连接起来，形成一个椅子的腿。另一方面，位于椅子上、下表面的点集，尽管空间上非常聚集，但却不该相连，以避免混淆可坐的上表面和不可坐的下表面。确定这样的拓扑结构似乎是一项非常低级的工作，但实际上它需要全局的、高级别的知识，这使得它成为一项非常具有挑战性的任务。

 

创新点：1.提出利用深度学习去估计点云的测地距离；

2.通过学习测地距离的特征可以用在下游的任务（比如 PU-Net/ PointNet++）去提高结果。

 

1.测地距离估计

测地距离，指的就是两个点在流形表面相连留下的路径的距离，可以先从图2看出：

图2

红色圆点到红色星星的欧氏距离（即蓝色的虚线）非常近，但是它们的测地线距离（粉色的虚线）非常远。因此这样的测地线学习实际上是可以帮助模型去更好地处理下游任务的。

要做拓扑估计，需要建立测地性邻域估计网络，本文通过使用 groundtruth测地距离作为监督来学习点与点之间的测地距离，网络本身主要分成两个模块：

1. 第一个模块通过一个auto-encoder去学习每个点的高维特征；
2. 第二个模块引入了一个geodesic matching (GM) layer去通过高维特征学习一个核函数去估计每个点的测地邻域点；

 

网络的输入本来是(N,D)的点云，通过了auto-encoder以后变成了(N,3+C)，其中3维是xyz的坐标，C维是高维的语义特征。在geodesic matching (GM) layer中，网络将上层网络的输出作为输入，然后通过l种不同的半径去取邻居点，对于每个点，不同的半径rl ​，取Kl​个邻居点，因此对于N个点，在半径rl下的邻居的特征为(N,Kl,3+C)的输出，这些邻居再拼接上N个点本身的特征，就是geodesic matching，输出为(N,Kl,3+2C)。接着这样的特征再通过MLP（FC、Relu、Dropout等操作）得到了最后的输出(N,Kl,3+1)，其中3维为xyz维度，1为测地距离。最后可以通过这样的方式去计算loss并且更新网络：

借助于监督式的测地训练过程，GM层的中间特征包含丰富的点云拓扑学信息以及固有的曲面属性。本文注意到，尽管表示在测地距离上训练，但由于没有施加对称性、三角不等式等基于距离的约束，所学得的表示暂时并不适合作为标准测地距离。表示的目标是为整体几何学和拓扑学的后续处理过程提供点云潜在的网格曲面特征信息，而不是直接进行指标计算。

2.下游任务结合

第二个创新点就是将学习出来的拓扑学特征与下游任务结合。具体而言，本文通过 PU-Net fusion (PUF) 进行点云上采样，使用 PointNet++ fusion (POF)进行法向量估计、网格重建以及非刚性形状分类。实验表明，这种来自 GeoNet 的已学习的测地表示同时有助于几何学和语义点云分析。

（1）对于PU-Net来说，它相当于把学习测地距离的高维特征向量与点云通过MLP的特征向量进行了融合，并且计算两部分loss：

（2）对于Pointnet++来说，其测地距离主要是用在了grouping & sampling的地方，也有高维特征的融合。

 

 

 

 

 

 

 

 

 

实验结果：

1. 测地邻域估计

1. 点云上采样

 

 

1. 正态估计和网格重构

（4）非刚性形状分类

 

 

 

 

结论：本文提出 GeoNet，一种全新的深度学习架构，可学习点云基于测地空间的拓扑学结构。其训练过程在 groundtruth 测地距离的监督之下进行，因此已学习的表示可反映出点云所潜在表征的网格曲面特征。

为证明这一拓扑学结构的有效性，本文借助融合方法把 GeoNet 与当前最优的点云分析 baseline 或 backbone 整合为一种计算方案，在点云上采样、法向量估计、网格重建及非刚性形状分类等几何学及语义任务上的实验结果表明，GeoNet 性能优于当前最佳同类方法。

 

GeoNet Deep Geodesic Networks for Point Cloud Analysis