点云特征学习（二）--SPG论文阅读笔记

点云特征学习（二）–SPG论文阅读笔记

一，挑战

在SPG工作时间节点之前，PointNet，PointNet++等深度学习方法虽然能够较好完成点云语义分割任务，但是受限于点云输入大小规模的限制，无法在大规模语义分割任务中也保持同样的优异表现。为了更好地处理百万级的点云数据，超点图（SPG）被提出，用SPG表示点云，再用图卷积神经网络学习上下文特征。

二，方法

根据我本人的理解，原始场景的点云数量是百万级，甚至是更大规模的，如果是传统的基于体素的方法，为了提高计算效率，可以将体素的大小设置相对大，从而减少计算量。但是大的体素无疑会丢失更多的空间结构信息，如果是基于点的方法，可以使用采样的方式减少点的数量，大规模采样如何保持原始点云的空间结构特征，这一点我会在后续的点云特征学习中继续关注。在SPG论文中，采用的是基于几何形状的homogeneous partition方法，我翻译为同类分割。这种策略在于利用无监督的方式，对大规模点云进行类似于聚类的操作，然后用超点（superpoint，SP）表示大规模场景点云，SP数量是远小于原始点云的。如下图所示，使用S1,S2,S3,S4,S5,S6 六个超点，以及超边一起表示了原始的输入点云。

接下来继续回到SPG论文本身。

2.1 Geometric Partition with a Global Energy

几何分割（聚类）的过程是根据以下能量函数进行的，

上式中左式是使得聚类后的点特征与对应的点云局部领域特征保持一致，右式子是使得同一个连通域内的点云语义特征一致。

2.2 Superpoint Graph Construction

SPG由 有向属性图表示：

前两个维度分别代表:超点，超边，$F$描述超点之间超边的邻接关系。

如果超点S与超点T至少存在一条边，使得该边的一端在S，一端在T，则称这两条边邻接。

超边的特征由两点的相对偏移量，形状特征与其他特征进行描述。

2.3 Superpoint Embedding

通过将超点嵌入到固定维度的向量中来计算描述符。该论文使用PointNet 进行超点的特征嵌入。
这里的一个细节就是，利用PointNet 进行特征学习时，对超点内部进行下采样到128个点，如果点数大于40小于128则进行替换采样（由于使用的是最大池化，所以没有影响），如果点数小于40 ，则嵌入特征为0。

2.4Contextual Segmentation
最后阶段是根据每个超点嵌入的特征，以及邻域信息对点云进行分类。