Point Attention Network for Semantic Segmentation of 3D Point Clouds 论文解析

一.摘要

1.在稀疏的三维点云上直接利用经典的卷积核或参数共享机制是低效的，因为它们具有不规则性和无序性（卷积核对应着点云的无序性，参数共享对应着点云的混乱性–（稠密和稀疏））
2.由于相邻点的几何分布不受点序的影响，提出了一种基于多方向搜索的邻域点的局部注意边卷积算法
3.我们将注意系数分配到每条边，然后将点特征作为其相邻点的加权和进行聚合。然后将学习到的LAE-Conv层特征赋予点向空间注意模块，生成所有点之间的相互依赖矩阵，而不管这些点之间的距离如何，从而捕获远程空间上下文特征，从而提供更精确的语义信息

二.相关信息

1.球形方向探索：
与KNN和ball查询方法不同的是，本文提出了一种多向搜索策略，可以在一个球中系统地查找16个方向上的所有邻域点，从而使局部几何形状在空间上更具可泛化性

2.拉普拉斯图的缺点：
基于拉普拉斯图的方法存在诸多不足，包括拉普拉斯特征分解计算量大、卷积滤波器参数多、空间定位不足等

3.（Rgcnn: Regularized graph cnn for point cloud segmentation）将点云视为一个图，并在其上定义卷积运算。此外，在损失函数中使用了一个图形平滑先验来规范学习过程

4.（Local spectral graph convolution for point set feature learning）提出了一种局部谱图卷积，从一个点的邻域构造局部图，并使用节点的标准坐标聚合节点的信息

5.（Spectral networks and locally connected networks on graphs）提出了一种利用拉普拉斯算子对图进行卷积推广的方法。在这种方法中，谱网络可以学习具有大量参数的低维图的对流层

6.（Dynamic graph cnn for learning on point clouds）通过最大池操作在局部信息中。然而，最大池操作仍然不能充分利用局部点的相关性。我们所提出的方法利用了一种完全不同的局部特征学习方法。我们提出了一个局部注意边缘卷积层，它可以学习点之间的局部关系

7.图卷积网络被设计用于在频谱或空间域进行卷积

三.本文的方法

1.局部注意边缘卷积(la - conv)层构成了我们的点注意网络结构的基本组成部分，用于三维点云语义分割

1.多方位搜索方法：搜索半径内圆心周围的球空间被划分为16个均匀方向。如果所有的邻边都投影到xy坐标平面上，我们可以看到八个方向上各有两个点。连接中心点与相邻点的线的厚度表示不同的贡献值

2.距离查询常用的两种方法是k近邻搜索和球查询。KNN返回固定数量的k个相邻点，而ball查询返回半径内的所有点。如果所有选择的点都来自一个小区域或一个方向，则局部形状不会被很好地表示。与KNN和ball查询不同的是，我们的搜索方法保证邻域点来自不同的方向，从而保证了编码局部几何信息的足够表达能力。我们比较了我们的搜索方法在ball query和KNN上的有效性

四.Aggregation

1.将注意边缘系数定义为eij，它表示相邻pj到中心点pi的重要性，通过注意机制a计算得到

2.hi和hj分别表示中心点及其邻居，机制a为单层MLP，由权向量进行参数化a∈RC

3.为了使边缘系数在不同点之间易于比较，我们使用softmax函数对参考点pi的所有邻居进行归一化

上式代入，也就是下图

其中中心点的相邻点通过(pi - pj)变换为局部坐标系，然后通过W权重

归一化的边缘系数αij用于分配给每条边权重系数。我们的方法是将点pi处的滤波特征计算为其邻域内点的加权和。该算法不仅解决了未定义点排序的问题，而且对结构信息进行了平滑处理，W将Pj映射到高维空间。
总的来说就是将中心点的更新变为与邻近点的加权和

---

总的顺序：
1.通过不同的16个方向进行查找找到相对于中心点Pi的K个邻近点Pj
2.移动Pj点到中心点Pi的局部：Pj-Pi
3.将输入点映射到高维特征：W（Pj-Pi）
4.计算出归一化的边共轭系数${\alpha }_{ij}$
5.使用图注意力聚合机制获得在Pi点处的更新
6.将更新后的Pi进行MLP
7.返回Pi（LAE）

五.Point—wise Spatial Attention Block

1.上面已经可以知道LAE-Conv层具有较强的局部几何特征表征能力，但是，由于每个LAE-Conv层都有一个本地接受域，因此单个单元无法利用其本地区域之外的上下文信息
2.分割中常见的问题是同一标号点所对应的特征在距离较远时差异显著，这些差异影响着逐点分割的整体效果，为了解决这一问题，我们关注全局空间关系来提高LAE-Conv层的表示能力
3.本文设计了一个点向空间注意力模块，通过在点集中建立特性之间的关联来捕获全局依赖关系，通过在LAE-Conv层之后叠加这些块 可以构建自适应编码长程上下文信息的局部全局架构

1.A,B,D都是经过MLP后将
本文根据A和B的转置计算不同点之间的关系 ，我们直接从a和B的转置来计算所有点的空间相关性，而不需要重新构造矩阵，因此保持了原始的空间分布。然后利用Softmax对关系图进行归一化处理，得到大小为N×N的点向空间注意图S

其中i和j分别表示A和B中的点位置，sij表示第i个点对第j个点的影响，·表示矩阵乘法。结果表明，当两个点的特征具有相似的语义信息时，它们具有很强的相关性

其中S.D表示按照点点之间的相关性来聚合上下文关系+局部信息

由此得到的特征P_final包含了一个长范围的上下文信息，并根据点向空间注意图s有选择地聚合上下文。该模块提高了特征表示能力，对于三维点云语义分割更加准确

六.整体网络图