PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

这篇文章是stanford在Point之后发的又一篇点云处理的文章
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space
主要针对pointnet一些不足 做出了改进：

1. pointnet使用的是mlp的结构，因此对局部几何特征提取以及图的拓扑结构完全忽略
2. pointnet本身是在Modelnet40上训练的，训练过程是均匀点云密度的情况下，而真实场景点云密度并不是这样的。

整体思路：模仿CNN提取2D图像的思想过程，因为CNN提取2D图像conv2d的过程就是不断在特征图上做卷积，使感受野扩大，满足2D图像的平移不变性。
因此 本文pointnet++的思路就是模仿这个过程 进行
采样-> 分组-> pointnet特征提取 ->再采样
随着过程的进行，采样的点会减少，以此模拟CNN特征提取的一个过程。

Our hierarchical structure is composed by a number of set abstraction
levels (Fig. 2). At each level, a set of points is processed and
abstracted to produce a new set with fewer elements. The set
abstraction level is made of three key layers: Sampling layer,
Grouping layer and PointNet layer. The Sampling layer selects a set of
points from input points, which defines the centroids of local
regions. Grouping layer then constructs local region sets by finding
“neighboring” points around the centroids. PointNet layer uses a
mini-PointNet to encode local region patterns into feature vectors. A
set abstraction level takes an N × (d + C) matrix as input that is
from N points with d-dim coordinates and C-dim point feature. It
outputs an N? × (d +C?) matrix of N? subsampled points with d-dim
coordinates and new C?-dim feature vectors summarizing local context.
We introduce the layers of a set abstraction level in the followingparagraphs.

网络分成三种层：采样层负责采样，定义局部区域的中心，分组层通过”相邻“进行建设局部区域，pointnet层使用一个mini-pointnet去编码。
输入是n*(d+c)的矩阵，D是维度，C是特征（作者注：保持这种特征+维度 使得无论怎么变换，重要的坐标信息不丢失，特征提取过程则类似CNN特征层）
采样层： FPS（最远点采样） 类似Dijkstra算法思想，维护一个点集，每次迭代取整体输入集合中离该点集最远的点，作为未来分组的中心点，这样的方法比随机采样能更好的覆盖集合，代表特征。总共取M个点，这个是根据物体点云选择M。

分组层：输入N*(d+c) 输出N * K*（d+c) K表示”邻域“中最近的K个点 。文章主要比较两种：Ball query 和 KNN（kd-tree) 方法，球查询为查询中心点附近R内的点（实际中会给定K的上限），而KNN可以找到固定的K个点，我们的目的是找到局部几何特征模式，因此寻找需要的尺度下的附近点比固定K重要（因为pointnet可以通过聚合的方式处理K的不确定）,所以主张使用BALL QUERY。 这里出现了第二个选择的值 K

Pointnet层:输入是N‘ * K*（d+c’) 输出是 N’ * （d+c’) 。简而言之，通过pointnet的变换和聚合操作，将这个中心点周围K个点的坐标和特征提取出来，用来表示这个点更深 更抽象的特征。
注意这里点的坐标发生了变换，相当于将坐标系中心改换为了Local region的中心点。
至此，网络结构已经结束
下面的就是为了解决密度不均匀提出的一些方法。（稀疏点云和密集点云学到的特征通常不易通用）
提出了两种方法： MSG（Multi-scale grouping） MRG（Multi-resolution grouping）
如图所示，左侧是MSG，效果较好，但是计算耗费大
这里的问题在于采样会不可避免的丢失一些点的信息，而在做分割的时候需要对每个点的信息进行分割，因此文章提出了一种传播（Propagation）方法，如下所示，其中K是最近邻的点数，p是距离次方数，如公式所示进行传播（类似于插值）