【点云处理之论文狂读前沿版13】—— GAPNet: Graph Attention based Point Neural Network for Exploiting Local Feature

摘要

• 方法： 本文提出一种新的用于point cloud神经网络GAPNet，通过将graph attention mechanism嵌入到stacked Multi-Layer-Perceptron (MLP) layers中学习point cloud的局部几何表示
  1. 引入GAPLayer，通过强调邻域的不同权重学习每个点的attention features
  2. 利用multi-head mechanism，能够让GAPLayer从单独的head聚合不同的特征
  3. 在邻域中提出attention pooling layer得到local signature，用于提高网络的鲁棒性
• 代码： TenserFlow版本

方法

记$X=\left\{x_i\in {\mathbb{R}}^F,i=1,2,\dots ,N\right\}$为输入point cloud set，本文中，$F=3$，表示坐标$(x,y,z)$。

GAPLayer

Local structure representation

考虑到真实应用中的point cloud数量很庞大，所以利用$k$-nearest neighbor构造有向 graph $G=(V,E)$，其中 V = { 1 , 2 , … , N } V=\{1,2, \ldots, N\} V={1,2,…,N}表示节点，$E\subseteq V\times N_i$表示边，$N_i$表示点$x_i$的邻域集合。定义边特征为$y_{ij}=\left(x_i-x_{ij}\right)$，其中 $i\in V,j\in N_i$，$x_{ij}$表示$x_i$的neighboring point $x_j$。

Single-head GAPLayer

Single-head GAPLayer的结构见图2(b)。

为了给每个neighbors分配注意力，分别提出了self-attention mechanism和neighboring-attention mechanism来获得每个点到其neighbors的注意力系数，如图1所示。具体而言，self-attention mechanism通过考虑每个点的self-geometric information学习self-coefficients；neighboring-attention mechanism通过考虑neighborhood关注local-coefficients。

作为初始化的步骤，对point cloud的顶点和边进行编码，映射到更高维度的特征，输出的维度为$F$:
$$\begin{array}{rl}{x}_i^{\prime }& =h\left(x_i,\theta \right)\\ y_{ij}^{\prime }& =h\left(y_{ij},\theta \right)\end{array}$$
其中$h()$是一个参数化的非线性函数，在实验中被选中作为single-layer neural network ，$\theta$是filter的可学习参数集合。

通过融合self-coefficients $h\left(x_i^{\prime },\theta \right)$ 和 local-coefficients $h\left(y_{ij}^{\prime },\theta \right)$得到最终的attention coefficients，其中$h\left(x_i^{\prime },\theta \right)$和$h\left(y_{ij}^{\prime },\theta \right)$是输出为1维的单层的神经网络， LeakyReLU() 表示激活函数：
$$c_{ij}=\mathrm{LeakyRe}LU\left(h\left(x_i^{\prime },\theta \right)+h\left(y_{ij}^{\prime },\theta \right)\right)$$

使用softmax对这些系数进行归一化：
$${\alpha }_{ij}=\frac{\exp \left(c_{ij}\right)}{{\sum }_{k\in N_i}\exp \left(c_{ik}\right)}$$
Single-head GAPLayer的目标就是计算每个点的ontextual attention feature。为此，利用计算得到的归一化系数更新顶点的特征 ${\hat{x}}_i\in {\mathbb{R}}^{F^{\prime }}$ ：
$${\hat{x}}_i=f\left(\sum _{j\in N_i}{\alpha }_{ij}{y}_{ij}^{\prime }\right)$$
其中$f()$是一个非线性激活函数，实验中使用RELU函数。

Multi-head mechanism

为了获得足够的结构信息和稳定的网络，我们将 $M$ 个独立的single-head GAPLayers进行拼接，生成通道数为$M\times F^{\prime }$的multi-attention features：
$${\hat{x}}_i^{\prime }={\Vert }_m^M{\hat{x}}_i^{(m)}$$
如图2所示，multi-head GAPLayer 的输出是multi-attention features 和multi-graph features。${\hat{x}}_i^{(m)}$是第$m$个head的 attention feature， $M$是heads的数量，$\Vert$表示特征通道间的拼接操作。

Attention pooling layer

为了提高网络的稳定性和提升性能，在multi-graph features的相邻通道上定义attention pooling layer：
$$Y_i={\Vert }_m^M\underset{j\in N_i}{\max }{y}_{ij}^{\prime (m)}$$

GAPNet architecture

该结构与PointNet有3点不一样：

1. 使用attention-aware spatial transform network使得Point cloud具有某种变换不变性
2. 不对单个点进行处理，而是提取局部特征
3. 使用attention pooling layer得到local signature，与中间层相连接，用于得到 global descriptor

实验

Classification

Ablation study

Semantic part segmentation