PointCleanNet阅读笔记

论文原文：https://arxiv.org/pdf/1901.01060v2.pdf
代码地址：https://github.com/mrakotosaon/pointcleannet

摘要

传统的点云去噪方法的弊端：
依赖的参数过多：局部表面拟合、局部或非局部平均、底层噪声模型的统计假设
PointCleanNet的优势：通过范围扫描获得的极嘈杂真实数据中实现准确的表面重建

1 介绍

理想的点云去噪算法：
（1）在去噪和特征保持之间取得平衡，即通过保留尖锐边缘和底层扫描表面的局部细节来消除离群值和噪声，同时保持数据的准确性；
（2）具备自动调节能力，即不需要准确的噪声模型估计或未知扫描表面的统计信息（如局部表面类型或曲率特征）作为输入；（适用于未知的噪声点云）
（3）对于施加在点集上的排列和刚性变换具有不变性，即去噪后的输出应不依赖于扫描角度或坐标系的选择；（不会因为扫描等硬件条件而是去噪后的输出结果差别很大）
（4）避免不必要地降低输入的质量，即如果输入恰好不含噪声，则保留扫描表面上的点。（不要为了去噪而把本来不是噪声的点去掉）
数据集的制作：
使用各种形状中提取的各种表面补丁，并在其上添加不同程度（包括零噪声）的异常值和噪声作为数据集来训练
网络主要结构：
网络隐式地构建了一组局部表面补丁的字典，将输入点分类为异常值，并将剩余点投影到字典补丁的集合上。

2 相关工作

离群点去除：
双边滤波：考虑了点坐标和法向量，以更好地保持边缘特征的完整性
非本地均值、基于字典的方法：
点云去噪：
PointCleanNet:基于PCPNet法线和曲率估计方面的优势，通过点云块的学习来去除离群点并消除噪声，该架构可以处理各种伪影，同时适用于密集点云。

3 总览

确定了两个关键的理想特性：首先，所有点应尽可能靠近原始扫描表面。第二，点应该在表面上尽可能均匀分布。请注意，我们不希望去噪后的点完全消除加性噪声并逼近原始完美的曲面样本，因为噪声在曲面上的切向分量无法从嘈杂的点云中恢复。

4 模型介绍

关键参数：
邻域半径r：处理密集的点云，保留局部细节
学习率：离群点去除：10-4；去噪网络：10-8
网络权重：离群点去除：均匀 Kaiming 初始化；去噪网络：[−0.001, 0.001]的均匀随机值
局部点云块的创建： pi 为中心的球内半径为 r 的所有点，点云块中有固定数量的点（PCPNet的要求），太少的点用0填充，太多的点随机选择其子集
网络结构：

基于空间变换网络（STN）、PoinNet、PCPNet，原理详见参考文献中的原文
网络的三个主要部分：一个特征提取器 h（p）；一个对称操作 H(Pi) = ∑p j ∈Pi h(p j)；一个回归器
迭代去噪：
相距较远的输入区域有不同的内容，导致不同的网络预测，而相距较近的输入区域有相似的内容和相似的预测。这些输入区域的距离与噪声模型和噪声幅度相关，因此网络预测和去噪点可能具有与原始噪声点相似的类型，但幅度更低。（这个没懂）

5 模型训练

首先是损失函数的设计：
去除离群点部分：使用估计的离群点标签和真实的离群点标签之间的 L1 距离

去噪损失函数的设计：主要损失函数有两个项，分别对应于我们想要实现的两个属性：点到表面的接近度可以近似为每个去噪点到真实点云中最近邻点的距离
先设计的是基准损失函数：

然后设计一个二阶段损失函数：
其一是：

其二是引入了正则化项，实现更均匀的分布（噪声的点云是近似均匀分布的，导致干净的点也是均匀分布的）：

最后完整的二阶段损失函数：

此外，还设计了一个可替代的损失函数（性能表现不一定好）：

然后是数据集的准备：
训练集包括18种形状，然后在18种的基础上增加一定水平的白噪声和离群点得到更多的训练集。测试包括10种形状且与训练集形状不同，可以更好的测试模型的去噪性能。

详细的数据集分布如下：
去噪数据集：通过向原始形状的边界框对角线添加标准差为0.25%、0.5%、1%、1.5%和2.5%的高斯噪音来生成带噪点云。加上原始值，一共108种形状
离群点数据集：训练集包含432个示例形状，分别由6个异常值密度和4个噪音水平组成，每个训练形状都有18个。每个形状的异常值密度和噪声水平排列组合

6 结果

6.2 评估指标

主要反映点云接近表面且具有近似均匀的分布的程度，去噪的结果越接近表面越好，点云分布越均匀越好
评估指标1：Chamfer度量和Chamfer距离变种（度量越低越好）
变量设定：
迭代次数一定，噪声水平变化
噪声水平固定，迭代次数变化
评估指标2：表面距离

6.3 噪声性能比较

比较五个算法在噪声水平和迭代次数上的Chamfer度量（详见论文原文）

6.4 离群点检测性能比较

使用f1和f2分数（反应召回率和精确率之间的平衡），且认为召回率比精确率更重要。（宁愿将非离群点预测为离群点，也不想要离群点预测为离群点，分数越高越好）

6.5 不同噪声模型的性能比较

（1）定向噪声（固定的水平白噪声噪声模型）
（2）结构化噪声（扫描线偏置或点偏置）
（3）错位噪声（不同角度扫面得到的噪声模型）
（4）现实世界扫描得到的噪声图像（无对应的干净点云作为参考）
现实世界扫描得到的噪声图像的去噪效果：

7 总结

（1）提出了POINTCLEANNET,这是一个基于学习的框架,可以消耗含噪声的点云,输出清洁的点云。它通过移除离群点和去噪声实现。
（2）该框架的一个关键优势是使用简单,在测试时既不需要额外的参数也不需要用户提供噪声/设备规格。
（3）在广泛的评估中,展示了该框架始终优于状态技术(这些技术需要手动调参)。因其通用性和易用性,可与任何使用原始点云的几何处理工作流程集成。
（4）一些未来的研究方向包括:将去噪和移除离群点合并到单网络中,提高效率,增加均匀性约束,允许网络上采样点等。
（5） 一个有趣的方向是在无监督数据上直接学习去噪。
（6）最后,研究无需成对的含噪声和干净点云即可训练的方法,这将允许直接处理任意扫描设置的噪声点云。
（7）结合生成对抗网络进行点云增强也是一个有趣的方向

参考文献

PoinCleanNet提出时参考的文献，包括几何数据分析和深度学习：
（1）MASCI J., BOSCAINI D., BRONSTEIN M., VAN-DERGHEYNST P.: Geodesic convolutional neural networks on riemannian manifolds. In ICCV workshops (2015), pp. 37–45
（2）BRONSTEIN M. M., BRUNA J., LECUN Y., SZLAM A.,VANDERGHEYNST P.: Geometric deep learning: going beyond euclidean data. IEEE SPM 34, 4 (2017), 18–42.
（3）WEI L., HUANG Q., CEYLAN D., VOUGA E., LI H.: Dense human body correspondences using convolutional networks. In CVPR(2016), pp. 1544–1553
（4）QI C. R., SU H., MO K., GUIBAS L. J.: Pointnet: Deep learning on point sets for 3d classification and segmentation. CVPR 1, 2(2017), 4
（5）WANG Y., SUN Y., LIU Z., SARMA S. E., BRONSTEIN M. M., SOLOMON J. M.: Dynamic graph cnn for learning on point clouds. arXiv preprint arXiv:1801.07829 (2018).
空间变换网络（STN）
[JSZ∗15] JADERBERG M., SIMONYAN K., ZISSERMAN A., ET AL.:
Spatial transformer networks. In NIPS (2015), pp. 2017–2025、
PointNet
[QSMG17] QI C. R., SU H., MO K., GUIBAS L. J.: Pointnet: Deep
learning on point sets for 3d classification and segmentation. CVPR 1, 2
(2017), 4.
PCPNet
[GKOM18] GUERRERO P., KLEIMAN Y., OVSJANIKOV M., MITRA
N. J.: PCPNet: Learning local shape properties from raw point clouds.
CGF 37, 2 (2018), 75–85.
评价指标之Chamfer度量和Chamfer距离
（1）[FSG17] FAN H., SU H., GUIBAS L. J.: A point set generation network
for 3d object reconstruction from a single image. In CVPR (2017), vol.
（2）[ADMG18] ACHLIOPTAS P., DIAMANTI O., MITLIAGKAS I., GUIBAS
L.: Learning representations and generative models for 3d point clouds.
In ICLR (2018).
（3）[BTBW77] BARROW H. G., TENENBAUM J. M., BOLLES R. C., WOLF
H. C.: Parametric correspondence and chamfer matching: Two new tech-
niques for image matching. In IJCAI (1977), pp. 659–663.