PointNet++ 论文及源码学习

PointNet在进行学习时，只对一个点或者只对所有点进行处理，因此存在的问题主要有两个，一是没有局部上下文，二是对平移不变性有一定的影响（如果对物体进行平移，所有点的特征都会出现变化）。为了解决这些问题，作者提出了PointNet++，通过使用多层次的特征提取结构来更好的提取局部特征（其想法与CNN感受野的变化类似），然后在此之上实现分类和分割，此外还提出了一种自适应密度的特征提取方法，提高了网络的鲁棒性。

核心理念：

迭代的在局部区域使用Pointnet。
网络主要有三个特征：多级特征学习、平移不变性、置换不变性。

网络结构

Pointnet++主要的创新点是在PointNet的基础上引入了多层次的特征提取结构，也就是下图中的Hierarchical point set feature learning部分，多级点集特征学习部分可以分为多层set abstraction layer，每一层set abstraction layer主要包括3个部分：Sampling layer、Grouping layer、PointNet layer。

• Sampling layer：对输入点集进行采样，选出若干个中心点
• Grouping layer：根据Sampling layer划分出若干个区域
• PointNet layer：对每个区域进行编码，提取特征向量
  每层的输入是$N\times (d+C)$，输出是$N^{\prime }\times (d+C^{\prime })$，其中$d$是坐标为度,$C$是特征维度，$C^{\prime }$是新的特征维度。
  

Sampling layer

使用FPS(farthest point sampling)算法选取$N^{\prime }$个点。（文中提到与随机采样相比，这一方法效果更好，但$N^{\prime }$是人为确定的）

Grouping layer

使用Ball query生成$N^{\prime }$个局部区域，使用KNN也可，需要人为指定球半径$radius$和球内点数$K$。与kNN相比，Ball query的局部邻域保证了固定的区域尺度，从而使得局部区域特征在空间上更加通用。

PointNet layer

输入为$N^{\prime }\times K\times (d+C)$,输出为$N^{\prime }\times (d+C^{\prime })$。点集在输入之前会对坐标进行平移，将所有的点变成围绕中心点的相对坐标。

不均匀点云的处理

采集到的点云往往是不均匀的，这就为区域的划分带来了一定的困难，如果采样半径较小，在稀疏的点云区域有可能只能采集到几个点，得到的特征是不稳定的，为了解决这一问题，作者提出了MSG(Multi-scale grouping)和MRG(Multi-resolution grouping)。在进行训练时，使用input point dropout。

• MSG：对于同一个中心点，使用多个不同尺度来对进行区域划分，所得到的同一中心点的不同区域中的点数和半径是不同的，将各个不同尺度的区域送入PointNet中进行特征提取，并对结果进行concat，这样concat得到的特征作为该中心点所在区域的特征。
• MRG：在不同网络级中综合不同尺度的网络信号，可以节省计算。某层特征是两个特征concat得到的，通过汇总来自较低层的每个子区域的特征来获得一个特征（图中左侧特征），另一个特征（右侧）是该层本地区域中的所有原始点通过PointNet获得的特征。
  

Pytorch implement 源码学习

参考 【3D计算机视觉】PointNet++的pytorch实现代码阅读