Local Spectral Graph Convolution for Point Set Feature Learning-用于点集特征学习的局部谱图卷积

标题：Local Spectral Graph Convolution for Point Set Feature Learning
作者：Chu Wang, Babak Samari, Kaleem Siddiqi
译者：Elliott Zheng
来源：ECCV 2018

Abstract

点云的特征学习已经显示出巨大的希望，引入了有效且可推广的深度学习框架，例如pointnet ++。
然而，到目前为止，点特征已经以独立和孤立的方式被抽象，忽略了相邻点的相对布局及其特征。在本文中，我们建议通过在局部图上使用谱图卷积结合新的图池化策略来克服这种限制。在我们的方法中，图卷积是在从点的邻域构造的最近邻图上执行的，从而共同学习特征。我们用递归聚类和池化策略替换标准的最大池化步骤，设计用于聚合来自其谱坐标中彼此接近的节点簇内的信息，从而产生更丰富的整体特征描述符。通过对各种数据集的广泛实验，我们展示了点集分类和分割任务的一致可证明的优势。

1 Introduction

随着复杂的现实世界场景的预配准深度和彩色图像的可用性，对于经典计算机视觉问题（包括对象检测，分类和分割）的特征处理算法存在极大的兴趣。
例如，在他们最新的版本中，现在可以在苹果iPhone X相机中找到深度传感器，为普通用户提供全新的计算机视觉技术。对于这样的数据，直接使用无组织的3D点云并且不需要诸如表面网格的中间表示是特别有吸引力的。来自这些传感器的3D点云的处理仍然具有挑战性，因为所感测的深度点可以在空间密度上变化，由于遮挡或透视效应而可能是不完整的并且可能遭受传感器噪声。

由于需要处理非结构化3D点云，同时利用深度神经网络的强大功能，Pointnet ++框架已经显示出对于识别和分割任务的3D点云特征处理的前景[13]。在这种方法中，网络结构被设计为直接与点云数据一起工作，同时以常规网格上的传统CNN的精神以分层方式聚合信息。为此，首先在输入点云上应用质心采样，然后进行半径搜索以形成点邻域。然后通过多层感知器[11]处理点邻域，并通过池化操作抽象得到的点特征。通过对点云数据的分层多层学习，pointnet ++框架在有挑战性的基准测试中在分段和分类方面表现出令人印象深刻的性能，同时将输入数据视为无组织点云。

与此同时，Defferrard等人，试图将传统上应用于常规域的CNN（例如2D中的采样图像像素或3D中的体素）扩展到表示为图的不规则域[4]。他们的方法使用切比雪夫多项式逼近谱图滤波器;通过卷积运算处理初始图以产生特征，然后使用子采样和汇集方法对这些特征进行粗化。 Kipf和Welling [6]简化了Defferrard等人的高阶多项式近似。并提出了谱图滤波器的一阶线性逼近。
上述频谱方法在完整图上运行，并且具有图拉普拉斯算子和图粗化层次必须在网络训练或测试之前以离线方式预先计算的限制。当完整图很大时，这会增加显着的开销。

在本文中，我们建议在pointnet ++框架中利用频谱图CNN的强大功能，同时采用不同的汇集策略。这使我们能够从点云解决目前深度学习方法的两个局限性：1）事实上，对于每个点样本，局部点云的特征的学习是以孤立的方式进行的。2）后面层中的信息聚合使用贪婪的赢家通吃最大池策略。相反，我们采用不同的池化模块，如图1中的详细示例所示。此外，与现有的谱图CNN方法相比，我们的方法不需要预计算[4,6]。我们将局部谱特征学习与递归聚类和池化相结合，为无组织点云的点集特征提取提供了一种新颖的架构。我们主要的方法论贡献如下：

• 在点集特征学习中使用局部谱图卷积以在每个点的邻域中结合结构信息。
• 局部频谱图卷积层的实现，其不需要离线计算并且可以端到端方式训练。我们在运行时动态构建图，并动态计算拉普拉斯算子和池化层次结构。
• 使用新颖有效的图池化策略，通过递归聚类谱坐标来聚合图节点处的特征。

2 Challenges in point set feature learning

Pointnet ++框架[13]中特征学习的局限性在于，一个点的k个最近邻（k-NN）的特征是以孤立的方式学习的。设$h$表示深层网络中任意隐藏层的输出，通常是多层感知器。在Pointnet ++中，$k$-NN中每个点的各个特征都是用$h(x_i),i \in 1,2,…,k $实现的。不幸的是，**这个隐藏层函数不模拟k-NN中各点之间的联合关系。**一个联合学习来自k-NN中的所有点的特征的卷积核将捕获与点的几何布局相关的拓扑信息，以及与输入点样本本身相关的特征，例如颜色，纹理或其他属性。在下一节中，我们将扩展诸如Pointnet ++框架之类的方法，以通过使用局部图卷积来实现这一目标，不过是在谱域中。

Pointnet ++的另一个限制是$k$-NN的集合激活函数是通过跨每个点的隐藏层输出的最大池化来实现的，也就是说

$$f(x_1,x_2,...,x_k)=ma{x}_{i\in 1,...,k}h(x_i)$$

最大池化不允许保留来自邻域内不相交点集的信息，如图1中蚂蚁的腿的情况。为了解决这个限制，我们引入了一个递归谱聚类和池化模块，产生一个用于$k$-NN的改进的集合激活函数，如第（4）节所述。

本文中的组合点集特征抽象操作可以归纳为

$$f(x_1,x_2,...,x_k)=⨁(h_1,h_2,...,h_k)$$

其中$h_i$是卷积的输出$h(x_1,x_2,...,x_k)$衡量第$i$个点，$\oplus$表示我们提出的集合激活函数。

图2提供了PointNet++ [13]中的逐点MLP与我们的谱图卷积之间的比较，以更好地说明我们的动机。Pointnet ++以孤立的方式抽象点特征，而谱图卷积以联合方式考虑局部邻域中的所有点，并且在相邻点处结合邻域点的特征和在抽象的图拓扑中编码的结构信息。更正式地说，这是通过图傅里叶变换和谱调制步骤完成的，它们使用图拉普拉斯算子的特征空间(eigenspace)来混合邻域特征（参见图3）。在下一节中，我们提供了谱图卷积核的理论背景和实现细节。

3 Graph Convolution 图卷积

在空间域上的卷积操作（直接作用在图上顶点）可以通过以下公式描述：
$$h=X\ast g$$

其中$X$代表输入点集特征，$g$代表空间卷积核。
这等价于图谱域中的逐元素哈达玛积，如Defferrard等人 [4]和舒曼等人[15]所示。

$$h$$