PointASNL自适应采样非局部神经网络的点云鲁棒操作初探

原始点云数据不可避免地从3D传感器或在重建算法中包含了异常值。本文提出了一种用于鲁棒点云处理地新型端到端网络，称为PointASNL。其完成了一个指标：在对含有噪声地点云数据处理问题上，具有良好地性能和鲁棒性。

该网络中的关键部分是自适应采样（Adaptive SampLing）模块。简单来说，首先利用最远点采样法以及KD树搜索邻近点，对采样点的领域进行加权，然后在整个点云中自适应的调整采样。AS模块不仅有益于点云的特征学习，二千缓解受异常值的影响。
为了进一步捕捉邻域信息和长期依赖于采样点，作者从非局部操作的角度出发，提出了局部-非局部（local-Nonlocal, L-NL）模块。这种L-NL模块使学习过程对噪声不敏感。

网络结构

作者提出了一个新颖的端到端网络健壮的点云处理，名为 PointASNL，其中可以有效地处理带有噪声或异常值的点云。PointASNL 主要包括两个通用模块：自适应采样（AS）模块和localNonlocal（L-NL）模块。AS模块用于调整采样点的坐标和特征，而L-NL模块用于捕获采样点的邻居和远程依赖关系。

自适应采样（AS）模块

---

因为最远点采样（FPS）有两个主要问题：

• 对异常点非常敏感。
• 对缺失地方，很难推断出原始几何信息。

所以为了解决上述问题，再用 FPS 获得相对均匀的点作为原始采样点后，用提出的AS模块自适应地学习每个采样点的位移量。

对于AS模块，令原始点云 N × 3 作为某层的初始的采样点,利用FPS算法获取 Xi ,i∈1,…,N 采样点，其特征 fi组成特征矩阵 F（32，256（采样点个数），D（维度）)
我们通过k-NN搜索将采样点按领域分组可得到近邻点特征 （32，256，32，D），然后使用自注意力机制进行组特征的更新。

---

经过代码的简单学习，以下仅代表我粗略的对该模块的看法：

如图2（a）所示，我们通过组中所有点来更新组特征。对于近邻点 Xj∈N（Xi），可以将组中的关注机制写为
其中关系函数 R 是计算采样点Xi和其邻域Xj∈N（Xi） 之间的关系。为两点的点积相似度。

通过点积相似度即可获取到点和点之间重要位置的参数信息

以上将 Xj 近邻点做一次2维卷积，将每个组特征 fj 变为另一个隐藏维度。这里值得一提的是，在代码中，作者是将近邻点特征切分开，前32特征做点积相似度获得weight，再与后32特征点乘获得新的组特征 fi 。如下图所示：

新的特征经过卷积层后，再进行一次softmax又能得到新的一组特征得分W。W分为Wp，Wf，

Wp为W的第一个特征并 tile 3次，获得（32，256，8，3），Wf为后6个特征（32，256，8，6）。注意的是这里的X,F取的是近邻点坐标和特征的前8个近邻点的坐标和特征。multiply相乘合并得到新的new_xyz，new_feature

---

以上就完成了AS的整个操作