超越NeRF-LOAM！全新动态LiDAR SLAM革新NeRF！

计算机视觉工坊

于 2024-10-06 16:51:55 发布

阅读量328

点赞数 14

文章标签： YOLO 目标检测人工智能 transformer 深度学习

本文链接：https://blog.csdn.net/weixin_46788581/article/details/142728989

版权

0. 论文信息

标题：Neural Implicit Representation for Highly Dynamic LiDAR Mapping and Odometry

作者：Qi Zhang, He Wang, Ru Li, Wenbin Li

机构：University of Bath、ShanXi University

原文链接：https://arxiv.org/abs/2409.17729

1. 摘要

同步定位和测绘(SLAM)的最新进展日益凸显了激光雷达技术的稳健性。与此同时，神经辐射场(NeRF)为3D场景重建引入了新的可能性，以SLAM系统为例。其中，NeRF-LOAM在基于NeRF的SLAM应用中表现显著。然而，尽管这些系统有其优势，但由于其固有的静态假设，它们在动态室外环境中经常遇到困难。为了解决这些限制，本文提出了一种新的方法，旨在改善高动态户外场景重建。基于NeRF-LOAM，建议的方法包括两个主要部分。首先，我们将场景分为静态背景和动态前景。通过从映射过程中识别和排除动态元素，这种分割使得能够创建仅精确表示静态背景的密集3D映射。第二个组件扩展八叉树结构以支持多分辨率表示。这种扩展不仅提高了重建质量，而且有助于去除由第一模块识别的动态对象。此外，傅里叶特征编码应用于采样点，捕捉高频信息，并导致更完整的重建结果。在各种数据集上的评估表明，与当前最先进的方法相比，我们的方法获得了更具竞争力的结果。

2. 引言

近期，神经辐射场（NeRF）已成为3D场景重建和新颖视角合成方面的强大工具，这主要得益于其能够从稀疏观测中生成复杂场景的高度详细且逼真的表示。NeRF的优势在于其能够将场景建模为连续的体素场，从而能够从多个输入图像中合成高质量的新颖视角和准确的3D重建。这一能力使得NeRF在室内外的同时定位与地图构建（SLAM）应用中展现出巨大潜力。通过捕捉复杂的场景细节并提供密集的体素表示，NeRF增强了SLAM系统，提高了空间理解和物体识别的能力。

在室内环境中，已经开发了多个基于NeRF的SLAM系统，包括iMap、NICESLAM、NeRF-SLAM、Co-SLAM、GO-SLAM和NGEL-SLAM等。这些系统利用摄像头传感器提供精确的重建结果。对于室外场景，基于NeRF的SLAM已扩展到结合激光雷达（LiDAR）传感器，如NeRF-LOAM、LONER和PinSLAM所示。此外，一些系统还结合了视觉和LiDAR数据，如CLONeR和SiLVR。然而，大多数基于NeRF的SLAM系统都基于环境是静态或仅轻微动态的假设。这一假设在将这些方法应用于包含高度动态物体的室外真实场景时带来了重大挑战，因为场景重建的准确性会大幅下降。

在本文中，我们旨在构建高度动态场景下的室外场景的密集3D地图。为实现这一目标，我们增强了NeRF-LOAM，通过集成一个额外的线程来检测移动物体，并生成其3D边界框。这使我们能够将LiDAR点分为背景和前景部分，假设背景保持静态而前景是动态的。在NeRF-LOAM的基础上，我们专注于计算背景的符号距离函数（SDF）值，确保动态元素与静态环境准确分离。推荐课程：室内、室外激光SLAM关键算法、代码和实战剖析(cartographer+LOAM+ LIO-SAM)。

此外，我们提出了一种混合特征表示方法，该方法对高度动态物体的生成具有显著益处。我们扩展了NGLOD中使用的NeRF-LOAM方法中的八叉树结构。通过考虑多个分辨率，我们的方法能够更好地捕捉不同尺度下动态物体的精细细节和运动。受Co-SLAM的启发，我们认识到尽管仅使用参数编码可以改善重建结果，但在填补空洞和确保平滑过渡方面存在局限性。为克服这些挑战，我们将多个可学习特征与傅里叶特征位置编码相结合。

我们的实验结果表明，我们的方法在处理高度动态场景时特别有效，因为它不仅去除了动态物体并填补了空洞，还增强了平滑性，这对于保持快速移动物体的完整性和连续性至关重要。

3. 效果展示

使用我们提出的方法和NeRF-LOAM对KITTI MOT 19进行三维重建

4. 主要贡献

主要贡献总结如下：

• 我们通过集成一种将场景分割为动态前景和静态背景的方法，增强了NeRF-LOAM，去除了动态LiDAR点并重建了地面点，从而促进了在高度动态的室外环境中进行准确的3D映射。

• 我们将NeRF-LOAM八叉树中的单层可学习特征扩展到多层，并对采样点应用傅里叶特征编码，从而实现了更好的重建结果。

• 为了提高高度动态场景中SDF值的准确性，我们在优化过程中加入了额外的损失函数。

5. 方法

图2是所提出系统的概述。它可以分为两个部分。图像的左侧部分显示了背景和前景的分离。在每一帧中，我们检测移动物体，然后将它们与前一帧中的移动物体相结合，形成前景。对于前景中的点，如果它们不是地面点，我们将全部移除，并在空间内生成地面点。图像的右侧部分说明了场景表示和SDF值的训练过程。对于相同的查询点，其对应节点的插值嵌入是从八叉树的不同层级中获得的。然后，将此嵌入与经过傅里叶编码后的采样点坐标进行拼接，并将组合后的数据输入到多层感知器（MLP）网络中，以预测SDF值。此外，对于前景中的非地面点，我们提出了一种基于动态区域的SDF损失函数，以最小化这些点的SDF值损失。