基于点云的3D场景理解（数据无结构性组织的神经网络）+PointNet(PointNet++)

基于点云的3D场景理解

关键词：点云，3D场景，PointNet
参考视频：https://www.bilibili.com/video/BV1As411377S?spm_id_from=333.337.search-card.all.click&vd_source=7266164bac828afa96b5c3e3dcb1b738
目标：解决点云的特征提取，实现分类等任务。
为什么不用CNN等网络？因为有的数据结构不具有结构化特征，没有办法带入到CNN中进行训练预测

PointNet

PointNet的网络结构：
其中input是n个点，3是指XYZ轴坐标，也可以添加其他特征信息（如RGB信息、压力、速度等）；使用transform是为了与T-Net输出的变换矩阵相乘，从而实现视角的不变性transform invariance，如若改变点云的观测视角，通过变换矩阵的相乘能够调整回来；再通过多层感知机MLP实现特征的升维，这样能够保证在后续的对称函数（maxpooling）的施加下不会丢失过多的信息；使用maxpooling得到点云的全局特征，保证了置换不变性（即改变点集n3中的排列顺序，最终全局特征保持不变）；若输出的是点云的类别，则使用global feature继续进行mlp操作，输出k维向量；若输出的是点云中各个点的信息（如压力预测、全局语义分割），则结合global features和local features形成n1088的特征，再经过计算得到n*m，m是指输出的维度（如语义分割的类别数）。

PointNet++

上述PointNet网络的不足之处在于：没有考虑局部信息local context，只结合了全局特征，这样会导致做点云级预测时效果不佳。
PointNet++的提出解决了上述的问题，引入采样和成组方法sampling&grouping，得到局部区域点集，再对局部区域点集进行PointNet（保证了置换不变性）；并且提出了Multi-scale grouping (MSG)和Multi-resolution grouping (MRG)方法来解决点云密度不均匀分布的问题。

PointNet++的结构：

首先原始点云（(N,d+C)中N时点的个数，d是坐标特征，C是其余特征），使用了 farthest point sampling (FPS)进行中心点采样，再将一定范围内的点组成group，构成（N1,K,d+C）,其中N1是group的个数，K是各个group中点的个数；再用point net对每个group单独处理，得到d+C1的特征，由于有N1个group，则输出（N1，d+C1），在这的pointnet实现将K个向量融合得到一个向量；最后根据任务的不同进行不同的downstream。

对于点云中的group定义距离怎么确定？对于点云分布的不均匀性怎么解决？
Multi-scale grouping (MSG)和Multi-resolution grouping (MRG)方法能够解决该问题。

Multi-scale grouping (MSG)

通过引入dropout，但是这个dropout是针对输入的数据点而言的，不是针对网络节点，以dropout的概率去除点云的点，使用留下的点做pointnet运算，得到一个特征向量，通过改变dropout概率（在[0,p]中均匀采样，p人为定义），获得多个特征向量，再concat在一起，作为C1进行后续的计算

Multi-resolution grouping (MRG)

通过设置多层group采样，最后的C1是由倒数第一层的point net输出向量和第一层的pointnet输出向量构成。