基于非局部图注意力网络的鲁棒三维形状分类

Robust 3D Shape Classification via Non-local Graph Attention Network

摘要

1. 一种非局部图注意力网络（NLGAT），它通过两个子网络生成一个新的全局描述符，用于鲁棒的三维形状分类。
2. 在第一个子网络中，通过设计全局关系网络（GRN）来捕捉点之间的全局关系（即点-点特征）
3. 在第二个子网络中，我们使用从全局结构网络（GSN）获得的几何形状注意力图来增强局部特征。
4. 为了保持旋转不变并从稀疏点云中提取更多信息，所有子网络都使用具有不同维度的Gram矩阵作为输入来进行稳健分类。
5. GRN有效地保留了低频特征，提高了分类结果

本文方法

在GSN中，构造了一个形状差分感知（SDP）模块，从点云的Gram矩阵中捕捉几何形状差异，从而获得注意力系数图，从而增强全局关系特征
在GRN中，由于网络层数有限，我们设计了一个网络通道融合模块，通过混合局部特征（从排序的Gram矩阵中学习）来提取点-点关系，即全局关系特征

Global Structure Network (GSN)

Gram矩阵百度
SDP
首先通过Gram矩阵G（X）的特征值分解得到一个特征值矩阵∧（∧∈RN×N）和特征向量矩阵Q（Q∈RNxN）。为了与整个特征学习相比节省时间，并从几何结构中学习类别差异，我们选择了三个特征向量Qi（Qi∈R1×N，i=1，2，3），对应于矩阵∧中最有效的三个特征值。
接下来，在将特征向量Qi输入到多层感知（MLP）和Softmax层之后，生成高维特征。
最后，为了计算用于生成用于后续加权操作的类别差异系数的三个特征向量之间的差异，通过以下等式计算形状微分系数图Adp

Global Relationship Network (GRN)

点云的局部特征学习是通过构造由相邻点和相似点组成的多尺度排序Gram矩阵来实现的。为了对任意旋转的点云保持旋转无方差，我们构建的Gram矩阵很方便，无需计算PCA-RI方法中的协方差矩阵和重新定义点坐标。此外，与提出的SGMNet相比，我们的Gram矩阵具有更多的维度，因为它基于相邻点和相似点的坐标，使我们能够保留更多的点关系，特别是对于稀疏点云。同时，对于有噪声的点云，Gram矩阵的构造将带来噪声传播

基于KNN算法，在点xi的一阶邻域Ni内找到k个点xij（1≤j≤k），然后以点云坐标为网络输入，构造Gram矩阵G
我们发现上述构造的Gram矩阵依赖于一个参数k，其维数将影响该矩阵的分类性能，因此，我们基于局部信息熵计算曲面的最小邻域范围，以构建三个多尺度Gram矩阵
因为无序的点云排列给局部特征学习带来了困难。排序的Gram矩阵（SG）是基于排序函数fsort（G（Xil））构建的，其中fsort（·）是行排序函数，排序Gram矩阵SG（Xil）仍然满足旋转不变性和置换不变性的性质

Local Feature Learning based on MLP-ST

Soft Thresholding Module
通过绝对值运算和全局平均池化，将特征图压缩为一维向量。并且阈值的计算如下。

Network Channel Fusion Module

考虑到在捕捉点之间的全局关系时浅层网络的局限性，我们在局部特征学习中提出了一个网络通道融合模块

Global descriptor

通过GRN，我们捕捉点之间的全局关系。然而，由于网络的层次较浅，不考虑全局感知场（例如，整个点云）的缺点仍然存在。在这里，我们通过在GSN中计算的形状微分系数映射Adp进一步对它们进行加权，以生成全局描述符Xg（Xg∈R1×c，其中c是类别的数量）

实验结果