0. 论文信息
标题:GARAD-SLAM: 3D GAussian splatting for Real-time Anti Dynamic SLAM
作者:Mingrui Li, Weijian Chen, Na Cheng, Jingyuan Xu, Dong Li, Hongyu Wang
机构:Dalian University of Technology、Sun Yat-sen University、University of Macau
原文链接:https://arxiv.org/abs/2502.03228
1. 导读
基于3D Gaussian Splatting (3DGS)的SLAM系统因其在实时高保真渲染方面的优异性能而受到广泛关注。然而,在具有动态对象的真实世界环境中,现有的基于3DGS的SLAM系统经常面临映射误差和跟踪漂移问题。为了解决这些问题,我们提出了GARAD-SLAM,一个为动态场景定制的基于3DGS的实时SLAM系统。在跟踪方面,与传统方法不同,我们直接对高斯曲线进行动态分割,并通过高斯金字塔网络将其映射回前端以获得动态点标签,实现了精确的动态去除和鲁棒的跟踪。对于映射,我们对通过网络更新的动态标记的高斯分布施加渲染惩罚,以避免由简单修剪引起的不可逆的错误移除。我们在真实世界数据集上的结果表明,与基线方法相比,我们的方法在跟踪方面具有竞争力,在渲染中生成更少的伪像和更高质量的重建。
2. 效果展示
BONN数据集中的渲染结果
3. 主要贡献
1)我们介绍GARAD-SLAM,据我们所知,这是第一个基于3DGS的、专门为动态场景设计的SLAM系统。
我们实现了跟踪和测绘之间的紧密耦合和互2)补,这与传统方法仅专注于跟踪校正不同。
3)我们提出了一种基于条件高斯CRF的动态点去除方法,并引入了动态高斯标签的渲染损失。此外,我们提供了一种利用稀疏光流来恢复高斯对应特征点的错误标签的方法。
4)我们在现实世界数据集上的实验结果表明,我们的方法在跟踪和渲染精度方面达到了最先进的功能。
4. 方法
我们系统的框架如图2所示。在跟踪和高斯映射线程中,我们维护标记的高斯,它表示包含ORB匹配特征点pi、旋转r、密度o和球谐函数描述符SH的点云P。这些标记的高斯允许系统使用基于图的优化来优化跟踪,同时通过反向传播原始图像和渲染图像之间的损失来学习相应的映射。我们提出了一种使用CRF确定高斯动态标签的方法,同时使用高斯金字塔网络在前端进行反向投影和过滤特征点。我们开发了一种稀疏的光流检测方法,以进一步过滤特征点并恢复错误的Gaussian标签。我们引入了动态渲染惩罚,利用Gaussian PyramidNetwork的更新来逐步优化具有动态标签的Gaussian,最终实现静态渲染结果。
5. 实验结果
6. 总结 & 未来工作
我们提出了GARAD-SLAM,它在动态场景中有效地解决了基于3DGS的SLAM系统中的跟踪漂移和地图误差问题。我们的方法引入了一种基于后端高斯映射和前端稀疏光流验证的反动态策略。通过基于神经网络的逐步更新,我们实现了动态干扰的准确消除和姿态校正。我们紧密地整合了跟踪和映射过程,它们相互增强。实验结果表明,与基线方法相比,我们的方法显著减轻了瞬时干扰和伪像的影响,在真实世界数据集上实现了最佳性能。未来的研究将侧重于将我们的方法适应于移动应用和轻量级部署。
对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~