点云语义分割深度学习方法的总结

分别用一段话介绍了以下点云分割方法：

• PointNet
• PointNet++
• pointsift

PointNet直接使用点云数据作为输入，解决了点云的无序性问题，点之间的相关性问题，刚体运动的不变性问题。他们证明了在数据量很大的情况下，提取一系列点的全局特征，可以与对单个点提取特征的点集，与对称函数的作用结果相近似。其中，使用mlp完成单点的特征提取，使用对称函数，即对顺序不敏感的函数，完成点云中共有特征的抽取，PointNet的使用的对称函数为max pooling。设输入特征为ND，使用max pooling作用在N维度上，得到1xD的向量，每一维特征都与其顺序无关，这样便保证了对于点云输入顺序的鲁棒性。针对刚体运动的不变性问题，提出一个变换矩阵T，称作STN网络。不过在最终实验结果和后续论文pointnet++中，被证明效果并不好。对于点之间的相关性问题，即网络应用到分割物体上的问题。作者采用了类似图像分割任务的，高层全局信息与底部局部信息结合的思想。将经过max pooling后的特征向量与浅层的特征矩阵拼接，得到每个点的分类结果。

PointNet++ 在PointNet的基础上，提取了局部相关性的特征。这种特征被认为是距离尺度空间所展现的性质。这样网络不仅可以对刚体变换的物体能够进行更准确的分类，还能学习到非刚体变换的物体特征。同时设计了层级的特征提取结构，并提出了MSG/MRG结构，适应非均匀分布的点云数据。文章设计的层级结构，每一级提取多个邻域范围的点集，使用PointNet作为特征提取结构。PointNet类似于卷积核，能够提取局部相关性特征；提取的点集类似于卷积划过的图像窗口；随着层级加深，感受野增大。每一层级都需要选择多个邻域点集，分别提取特征。每个层级的处理过程分为三个步骤：sampling layer，grouping layer 和PointNet layer。Sampling layer用于选取各点集的中心点。Grouping layer对每个中心点找它的邻域点，形成子点集。PointNet layer抽取此层级特征点。实际点云很少是分布均匀的，PointNet++提出了改良后的密度自适应的特征提取层。MSG结构就是在grouping layer中，使用不同的尺度，再分别接入point net layer。得到多尺度特征后拼接起来。分割任务的设计参照了二维图像分割方法，采用了FCN相似的skip link结构，上采样后的特征与同分辨率的低层特征拼接，这样高级全局特征和低层细节信息相结合，有助于细节分割。上采样采用的是interpolate结构，对于要恢复的点x(上一级N中的点），找尺度空间下的最近K个点，按照距离的倒数对特征加权平均，得到上采样后这个点的特征。

pointnet++相比于pointnet最大的改进就在于对于点云数据的局部空间信息做了提取，基于这个思路pointsift做了类似的工作。其sift原本被用于在二维图像中提取局部特征，同样在三维数据上，对于一个点首先选取8个方向上各一个点，及总共8个点，生成（batch，npoints，8，d）向量，在对其进行x轴、y轴、z轴方向上的卷积，最终得到（batch，npoints，D）特征向量，相当于周围8个点的特征也都融入到中心点上，其特征向量就等于提取了局部空间的信息，再做两层的pointsift特征提取，就更加扩大了局部空间。