SGS-SLAM: Semantic Gaussian Splatting for Neural Dense SLAM论文阅读

基于Gaussian Splatting 的 SLAM系列论文阅读

背景（Background）

这篇论文的标题是“SGS-SLAM: Semantic Gaussian Splatting for Neural Dense SLAM”，作者包括大连理工大学的Mingrui Li、Na Cheng、Hongyu Wang，东京大学的Shuhong Liu、Guohao Zhu，以及哥伦比亚大学的Heng Zhou。这篇论文提出了一种名为SGS-SLAM的新型语义密集SLAM（Simultaneous Localization and Mapping，即同时定位与建图）系统。SGS-SLAM利用3D高斯Splatting生成高质量的渲染图像，并提供精确的3D语义分割和高保真的重建。
论文arxiv链接

摘要（Abstract）

• 贡献：提出了SGS-SLAM，这是首个基于3D高斯表示的语义密集视觉SLAM系统。
• 方法：系统采用多通道优化，在映射过程中整合了外观、几何和语义约束，并结合关键帧优化以提高重建质量。
• 结果：通过大量实验证明，SGS-SLAM在相机位姿估计、地图重建和语义分割方面提供了最先进的性能，并且保持了实时渲染能力。

引言（Introduction）

• 背景：密集视觉SLAM是计算机视觉领域的关键问题，旨在实时重建未知环境中的密集3D地图，并同时跟踪相机位姿。
• 挑战：传统的视觉SLAM系统在稀疏重建方面表现出色，但在密集重建方面存在不足。基于学习的方法在生成3D全局地图和鲁棒性方面表现出色，但存在一些局限性。

相关工作（Related Work）

• 语义SLAM：语义信息对于SLAM系统至关重要，可以集成到3D几何表示中。
• 神经隐式SLAM：基于NeRF的方法处理复杂拓扑结构和可微分场景表示，但存在无法利用地图中的语义信息的问题。
• 3D高斯Splatting-SLAM：基于3D高斯Splatting的方法在稀疏像素基础上表现出高效和准确的性能，但缺乏有效的跟踪优化。

方法（Method）

• 多通道高斯表示：使用高斯影响函数在地图上表示场景，包括几何、外观颜色和语义颜色。
• 跟踪和映射：包括相机位姿估计、关键帧选择和权重分配、地图重建。
• 场景操作：利用场景的显式高斯表示，可以直接编辑和操作目标高斯群。

实验（Experiment）

• 实验设置：在合成数据集Replica和真实世界数据集ScanNet上评估方法。
• 评估指标：使用PSNR、Depth-L1、SSIM和LPIPS评估重建质量；使用ATE RMSE评估相机位姿；计算mIoU评估语义分割。
• 基线比较：与iMap、Vox-Fusion、NICE-SLAM、Co-SLAM、ESLAM和SplaTAM等最新技术进行比较。

结论和局限性（Conclusion and Limitations）

• 结论：SGS-SLAM是首个基于3D高斯表示的语义密集视觉SLAM系统，提供了精确的3D语义分割和高保真的密集地图重建，同时产生稳健的相机位姿估计。通过关键帧优化，实现了可靠的重建质量，并且实验表明该方法在跟踪和映射方面提供了最先进的结果，同时保持了快速的渲染速度。
• 局限性：SGS-SLAM依赖于深度和2D语义信号输入，在这些信息稀缺或难以获取的场景中，系统的有效性将受到影响。此外，该方法在大型场景中部署时内存消耗较大。