Spherical Convolutional Neural Network for 3D Point Clouds

Spherical Convolutional Neural Network for 3D Point Clouds ：三维点云的球面卷积神经网络
摘要
我们提出了一种用于三维点云处理的神经网络，它利用球面卷积核和八叉树空间划分。所提出的基于度量的球形核系统地量化点邻域以识别数据中的局部几何结构，同时保持平移不变性和不对称性。网络体系结构本身由八叉树数据结构引导，该结构充分利用了不规则点云的稀疏性质。我们在每层中的神经元的帮助下指定球形核，而神经元又与空间位置相关联。我们利用这种关联来避免网络训练期间的动态内核生成，从而实现高分辨率点云的高效学习。我们证明了球形卷积神经网络在标准基准数据集上进行三维物体分类的效用
1 介绍
众所周知，卷积神经网络（CNN）[6]从数据中学习高效特征。
然而，标准CNN仅适用于在常规网格上定义的数据，例如，像素阵列。
这限制了它们处理本质上不规则的3D点云的能力。点云最近引起了计算机视觉社区的极大兴趣，并且这种数据模式的大型存储库已经开始出现[15]，[19]。相应地，相关文献也尝试通过自适应[2]，[8]，[15]来利用标准卷积网络对点云的表现能力。但是，这些尝试还会导致过大的内存占用，从而限制了允许的输入数据分辨率[12]。更有吸引力的选择是将卷积运算的能力与不规则数据的图形表示相结合。得到的图形卷积网络（GCN）可以在谱域[1]，[4]，[20]或空间域[12]中提供卷积。
在GCN中，谱域方法要求是要对齐的Graph Laplacian，这对于点云来说并不是直截了当的。另一方面，空间域中唯一突出的方法是ECC [12]，与标准CNN相比，它必须动态生成卷积内核，这需要大量的计算开销。此外，ECC依赖于图形构造和粗化的范围搜索，这对于大点云来说可能变得非常昂贵。将卷积网络应用于未调节的3D数据的一个主要挑战是在3D度量空间中的几何上有意义的卷积核。当然，内核也需要将translate-invariance转换为数据中的类似本地结构。此外，它们应该作为紧凑的表示来应用。
由于这种复杂的要求，用于计算计算图以处理非结构化数据的实例也很少[5]，[9]，[10]。尽管仍然具有吸引力，但这些方法无助于利用卷积网络对点云的潜在威力。

图1：插图：内核通过系统地将目标点xi周围的空间分成多个区域来处理原始点云。对于第j个相邻点xj，它首先确定其相关区间并使用为该区间定义的权重矩阵W k来计算激活值。
在这项工作中，我们引入了球形卷积核的概念，系统地将球形3D区域划分为多个体积区域，参见图1.每个区域指定一个可学习参数矩阵，用于对落入该区间内的点进行加权以进行卷积。我们在神经网络的层之间应用这些内核，该神经网络是基于3D空间的八叉树分区[21]构建的。稀疏引导的八叉树结构确定了在我们网络的每一层中执行卷积的位置。网络体系结构本身由八叉树层次结构引导，具有与树深度相同数量的隐藏层。通过利用空间划分，网络避免了K-NN /范围搜索并且有效地消耗了高分辨率点云。不需要动态生成的球形内核也能够在数据中的类似本地结构之间共享权重。此外，我们证明了内核不对称地应用于我们网络中的点对。我们评估了球形卷积神经网络用于3D对象识别的任务，为卷积网络的新概念实现了非常令人鼓舞的结果。
二 球形卷积
对于图像，传统上手工制作的特征是通过更原始的成分计算出来的，即补丁。实际上，相同的原理超越了CNN的自动特征提取，CNN使用明确定义的矩形图像区域的激活来计算特征图。
2D性质，球形区域更适合处理诸如点云的3D数据。球形区域本质上适合于计算非结构化数据的几何有意义的特征[3]，[13]。受这种自然亲缘关系的启发，我们引入了球形卷积的概念，它将3D球体（而不是2D矩形）视为执行卷积操作的基本几何形状。
给定任意点云P = fxi 2 R3gm i = 1，我们在半径为ρ2R +的球体的帮助下定义卷积核。对于目标点xi，我们认为其邻域N（xi）包括以xi为中心的球体内的点，即N（xi）= fx：d（x; xi）≤ρg，其中d（：; :)是距离度量1。我们通过沿着方位角（θ）和仰角（φ）均匀划分占用空间来将球体划分为n×p×q’区域（见图1）。我们允许沿径向尺寸的分区是不均匀的，因为对于大半径值的立方体积增长可能变得不合