Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling

image

论文解决什么问题：

深度学习用于点云，难度在于局部几何结构特征的提取

相比于传统在CNN上应用的二维图像，三维点云并不规则。所以通常的做法是先把点云体素化，再去应用三维卷积神经网络。但是通常体素化后的点云分辨率低，并且在训练过程中，需要的计算量和存储会更大。

PointNet提出了直接在点云上进行卷积操作的方法，通过per-point MLP计算点的特征，并最终聚合其所有点的特征，用来代表这个点云。

但这个方法丢失了点云的局部信息，它只包含了，这个地方是否有点的信息，但是并不能包含，“什么样的一个点”在这个地方。

PointNet++解决上面的问题，通过一个比较复杂的方法。它把点云分割成一个个小的点云，递归地，让每个小点云通过小的pointnet，从而提取出它们的高维特征，也就是点云的局部高维特征。这个架构复杂且很慢。

这篇文章也就是要解决这个问题：是否有有效的可学习的局部操作，具有明确的几何解释，以直接增强和改进原始的PointNet，同时保持其简单的架构。

如何构建几何的卷积来捕捉点云的几何拓扑。

如何解决这个问题：

Covariance Matrix

A second-order description of a local neighborhood is through data covariance matrix, which has also been widely used in cases such as plane extraction, curvature estimation

Kernel Correlation

Another widely used description is the similarity