文章目录
基于Gaussian Splatting 的 SLAM系列论文阅读
背景(Background)
这篇论文的标题是“SGS-SLAM: Semantic Gaussian Splatting for Neural Dense SLAM”,作者包括大连理工大学的Mingrui Li、Na Cheng、Hongyu Wang,东京大学的Shuhong Liu、Guohao Zhu,以及哥伦比亚大学的Heng Zhou。这篇论文提出了一种名为SGS-SLAM的新型语义密集SLAM(Simultaneous Localization and Mapping,即同时定位与建图)系统。SGS-SLAM利用3D高斯Splatting生成高质量的渲染图像,并提供精确的3D语义分割和高保真的重建。
论文arxiv链接
摘要(Abstract)
- 贡献:提出了SGS-SLAM,这是首个基于3D高斯表示的语义密集视觉SLAM系统。
- 方法:系统采用多通道优化,在映射过程中整合了外观、几何和语义约束,并结合关键帧优化以提高重建质量。
- 结果:通过大量实验证明,SGS-SLAM在相机位姿估计、地图重建和语义分割方面提供了最先进的性能,并且保持了实时渲染能力。
引言(Introduction)
- 背景:密集视觉SLAM是计算机视觉领域的关键问题,旨在实时重建未知环境中的密集3D地图,并同时跟踪相机位姿。
- 挑战:传统的视觉SLAM系统在稀疏重建方面表现出色,但在密集重建方面存在不足。基于学习的方法在生成3D全局地图和鲁棒性方面表现出色,但存在一些局限性。
相关工作(Related Work)
- 语义SLAM:语义信息对于SLAM系统至关重要,可以集成到3D几何表示中。
- 神经隐式SLAM:基于NeRF的方法处理复杂拓扑结构和可微分场景表示,但存在无法利用地图中的语义信息的问题。
- 3D高斯Splatting-SLAM:基于3D高斯Splatting的方法在稀疏像素基础上表现出高效和准确的性能,但缺乏有效的跟踪优化。
方法(Method)
- 多通道高斯表示:使用高斯影响函数在地图上表示场景,包括几何、外观颜色和语义颜色。
- 跟踪和映射:包括相机位姿估计、关键帧选择和权重分配、地图重建。
- 场景操作:利用场景的显式高斯表示,可以直接编辑和操作目标高斯群。
实验(Experiment)
- 实验设置:在合成数据集Replica和真实世界数据集ScanNet上评估方法。
- 评估指标:使用PSNR、Depth-L1、SSIM和LPIPS评估重建质量;使用ATE RMSE评估相机位姿;计算mIoU评估语义分割。
- 基线比较:与iMap、Vox-Fusion、NICE-SLAM、Co-SLAM、ESLAM和SplaTAM等最新技术进行比较。
结论和局限性(Conclusion and Limitations)
- 结论:SGS-SLAM是首个基于3D高斯表示的语义密集视觉SLAM系统,提供了精确的3D语义分割和高保真的密集地图重建,同时产生稳健的相机位姿估计。通过关键帧优化,实现了可靠的重建质量,并且实验表明该方法在跟踪和映射方面提供了最先进的结果,同时保持了快速的渲染速度。
- 局限性:SGS-SLAM依赖于深度和2D语义信号输入,在这些信息稀缺或难以获取的场景中,系统的有效性将受到影响。此外,该方法在大型场景中部署时内存消耗较大。