恶劣天气下的点云去噪方法

题目：“4DenoiseNet: Adverse Weather Denoising from Adjacent Point Clouds”

论文地址：https://arxiv.org/abs/2209.07121

代码：https://github.com/alvariseppanen/4DenoiseNet

摘要：

可靠的点云数据对于感知任务至关重要，例如在机器人技术和自动驾驶应用中。恶劣天气会对光探测和测距（LiDAR）传感器数据产生特定类型的噪声，从而显著降低点云的质量。为了解决这一问题，本信提出了一种新的点云不利天气去噪深度学习算法（4义网）。我们的算法利用了时间维度不同于深度学习不利天气去噪方法。与之前的工作相比，它在相交方面比联合度量好了约10%，计算效率也更高。这些结果是在我们的新SnonyKITTI数据集上实现的，该数据集有超过4万个不利天气标注的点云。此外，加拿大不良驾驶条件数据集的强定性结果表明，对领域偏移和不同传感器内部的良好的普遍性。

贡献：

• 我们提出了第一个深度学习方法的激光雷达不利天气去噪利用空间和时间信息。这是通过在连续的k近邻点云上搜索卷积实现的，它捕获空间和时间信息。我们在性能上大大超过了现有的方法，而且计算成本更低。
• 由于点级注释是费力的，我们使用由高度现实的基于物理的模型[12]生成的半合成数据进行训练。也就是说，恶劣天气的合成效应被添加到在晴朗天气中捕捉到的真实点云中。我们是第一个使用这些数据来训练一个模型，并在恶劣天气中捕获的真实数据上测试它的性能。优异的性能表明我们的模型在这个域移中是鲁棒的。鉴于其出色的性能，我们的模型将成为户外激光雷达传感器应用程序的一个重要组成部分，为所有下游任务提供干净的感知数据。此外，我们提出了第一个点注释的不利天气数据集，即SnonyKITTI，基于该模拟模型，有大约40000次激光雷达扫描。

方法实现

1.有序点云表示

从一个典型的激光雷达传感器c=（x，y，z）的点坐标为mappedΓ：Rn×3→Rsh×sw×3到球坐标，最后到图像坐标，定义为

空间信息的利用

经典方法DROR [16]，DSOR [17]和DDIOR [19]表明，局部点密度是确定给定点是否由空气粒子引起的有用指标。因此，使神经网络能够捕获这些信息是至关重要的。由于我们的方法是基于投影的，而传统的卷积不能捕获局部点[41]，因此必须采取度量。我们定义了第一个卷积层来捕获度量空间中的k个最近邻（kNN）。一个说明性的示意图如下图所示。该卷积核考虑度量空间中最近的k个点，而不是基于像素坐标的相邻点，使网络能够获得更好的空间信息。为了减轻knn搜索的计算负担，我们只在有序点云中锚点的邻近区域进行搜索。为简单起见，将一个像素坐标表示为

图中，在球面投影图像上的二维卷积问题的一个亮点。它不能捕获度量空间中的局部点，而knn卷积可以捕获局部点，这在我们的任务中很重要，因为杂波在投影图像上不是连续的。

时间信息的利用

激光雷达点云中不利天气的影响比有效点更混乱。这是由空气中粒子的光束反射引起的。由这些粒子引起的反射更不可预测，因为它们很小，并且被湍流气流移动。这种混沌行为在其他问题上的规模要小得多。因此，时间信息可以在我们的任务中使用。一项实证研究表明，来自空气中的粒子的反射，例如雪花，极不太可能在同一地方发生两次。也就是说，从空气粒子反射的单束不太可能发生在给定光束的相邻扫描中，而其他表面的反射更容易预测。

如图2所示，我们通过使用∈Rsh×sw×3搜索之前的点云P（t−1）中的点集，即当前点云P (t)的笛卡尔通道来捕获时间信息。与P(t)knn搜索类似，该搜索只考虑有序点云中的邻近区域。时态knn卷积被定义为

d∈Rk×sh×sw×3是局部流形运动的近似。d由笛卡尔变换转换为球坐标系，得到更相关的数据表示，即r和（θ，φ）分别是运动的大小和方向，

图2.时间-knn核捕获时间信息。在球坐标系中，由−=（t−1）给出的分布对于一组具有均匀运动的点更平滑。相反，由非均匀运动引起的一组点更随机。

神经网络的设计与训练

假设前提：拥有时间空间特征的函数，其效果优于同类函数。
通过下图神经网络近似估计该函数

Residual block：解决梯度消失和梯度爆炸问题，在训练更深网络的同时，又能保证良好的性能。K是卷积核大小，D卷积核膨胀（dilation 是对 kernel 进行膨胀，多出来的空隙用 0 padding，用于克服 stride卷积步长 中造成的失真问题，引入 dilation 的目的是 既想利用已经训练好的模型进行fine-tuning，又想改变网络结构得到更加dense的score map）,BN:让激活函数的输入分布保持在一个稳定状态来尽可能避免它们陷入梯度饱和区，又引入了两个可学习（learnable）的参数一定程度上保证了输入数据的表达能力。

Dropout: dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络,是CNN中防止过拟合提高效果的一个大杀器.
Pixel Shuffle:是一种上采样方法，可以对缩小后的特征图进行有效的放大。可以替代插值或解卷积的方法实现upscale。主要功能是将低分辨的特征图，通过卷积和多通道间的重组得到高分辨率的特征图。

Motion guided attention：《Motion Guided Attention for Video Salient Object Detection》2019港大 MGA 运动引导的注意力机制，为了建模显著运动如何结合外观信息来影响物体显著性的。

Softmax：分成soft和max两个部分，核心在于soft，Softmax的含义就在于不再唯一的确定某一个最大值，而是为每个输出分类的结果都赋予一个概率值，表示属于每个类别的可能性。

Jaccard index：用于比较有限样本集之间的相似性与差异性。 Jaccard系数值越大，样本相似度越高。也被称为IOU score。
Lovász-Softmax loss：神经网络中联合损失平均交集的直接优化方法。《The lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks》