SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM论文阅读

基于Gaussian Splatting 的 SLAM系列论文阅读

背景（Background）

这篇论文的标题是“SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM”，由上海交通大学的Siting Zhu、Renjie Qin、Jiuming Liu、Hesheng Wang以及剑桥大学的Guangming Wang共同撰写。这篇论文提出了一种名为SemGauss-SLAM的新型密集语义SLAM（Simultaneous Localization and Mapping，即同时定位与建图）系统。该系统利用3D高斯表示法，能够同时实现精确的3D语义映射、稳健的相机跟踪和高质量的渲染。
论文arxiv链接

摘要（Abstract）

• 贡献：提出了一种结合了语义特征嵌入到3D高斯表示中的SLAM系统，该系统能够进行精确的语义场景表示。
• 方法：提出了一种特征级损失函数用于更新3D高斯表示，以实现更高级别的3D高斯优化指导。
• 创新点：引入了语义信息的束调整（Bundle Adjustment, BA），利用多帧语义关联进行联合优化，以减少累积漂移并提高语义重建的准确性。
• 性能：在Replica和ScanNet数据集上展示了比现有基于辐射场的SLAM方法在映射和跟踪精度上更优越的性能。

引言（Introduction）

• 背景：密集语义SLAM是机器人系统和自动驾驶的基本挑战，它将环境的语义理解整合到密集地图重建中，并同时执行位姿估计。
• 挑战：传统的密集语义SLAM存在无法预测未知区域的局限性。基于Neural Radiance Fields (NeRF)的方法解决了这些问题，但存在实时优化隐式场景表示的低效渲染和新视角下语义表示质量差的问题。

相关工作（Related Work）

传统语义SLAM：使用显式的3D表示，如surfels、mesh和TSDF，进行密集语义映射。
神经隐式SLAM：展示了在密集映射的场景重建中的前景能力。
3D高斯Splatting SLAM：作为一种有前景的3D场景表示，使用一组具有可学习属性的3D高斯。

方法（Method）

• 语义高斯表示：使用具有特定属性的各向同性高斯集合进行场景表示。
• 3D高斯渲染：通过splatting将3D高斯投影到2D splats，以实现高保真的可微分渲染。
• 跟踪过程：在跟踪过程中，保持3D高斯参数固定，只优化当前帧的相机位姿。
• 映射过程：系统同时执行RGB映射和语义映射。

实验（Experiments）

• 数据集：在具有语义真实标注的两个数据集Replica和ScanNet上评估SemGauss-SLAM的性能。
• 指标：使用了深度L1、ATE RMSE、PSNR、SSIM和LPIPS等指标来评估重建度量、跟踪精度和渲染质量。
• 基线比较：与现有的基于密集视觉SLAM的最新技术进行了比较。

结论（Conclusion）

• 提出了SemGauss-SLAM，这是一个利用3D高斯表示的新型密集语义SLAM系统，能够实现密集视觉映射、稳健的相机跟踪和整个场景的3D语义映射。
• 通过将语义特征嵌入到3D高斯中，提出了用于高斯语义表示的密集语义映射。
• 引入了特征级损失函数，用于3D高斯场景优化，以实现准确的语义表示。
• 引入了语义信息的束调整，通过建立多视图语义约束，实现相机位姿和3D高斯表示的联合优化，从而实现低漂移跟踪和精确映射。