误差0.44cm！4 FPS！MGS-SLAM：定位精度、建图质量、实时性全拉满！

误差0.44cm！4 FPS！MGS-SLAM：定位精度、建图质量、实时性全拉满！

1. 论文信息

标题：MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization

作者：Pengcheng Zhu, Yaoming Zhuang, Baoquan Chen, Li Li, Chengdong Wu, Zhanlin Liu

机构：东北大学

原文链接：https://arxiv.org/abs/2405.06241

附赠自动驾驶最全的学习资料和量产经验：链接

2. 摘要

这封信介绍了一种基于高斯喷洒的密集视觉同时定位和地图构建（VSLAM）的新框架。最近，基于高斯喷洒的SLAM已经取得了令人满意的结果，但依赖于RGB-D输入，在跟踪方面表现较弱。为了解决这些限制，我们首次将先进的稀疏视觉测距与密集高斯喷洒场景表示独特地集成在一起，从而消除了典型基于高斯喷洒的SLAM系统对深度图的依赖，并增强了跟踪的稳健性。在这里，稀疏视觉测距跟踪RGB流中的相机姿势，而高斯喷洒则处理地图重建。这些组件通过多视角立体匹配（MVS）深度估计网络相互连接。我们提出了深度平滑损失，以减少估计深度图的负面影响。此外，通过稀疏-密集调整环（SDAR）保持稀疏视觉测距和密集高斯地图之间的尺度一致性。我们已经在各种合成和真实世界数据集上评估了我们的系统。我们的姿态估计准确度超过了现有方法，并实现了最先进的性能。此外，它在新视角合成保真度方面优于以前的单眼方法，与利用RGB-D输入的神经SLAM系统的结果相匹配。

3. 效果展示

MGS-SLAM和其他方法在Replica数据集上的新视角渲染结果展示了可视化结果。MGS-SLAM始终生成比其他单目和RGB-D方法更高质量、更真实的图像。

4. 主要贡献

• 引入第一个将稀疏视觉测距与3D高斯平铺相结合以仅利用RGB图像作为输入构建稠密高斯地图的SLAM系统。

• 开发了一个预训练的多视角立体匹配（MVS）深度估计网络，利用稀疏测距关键帧及其姿态来估计先验深度图，从而为高斯地图重建提供关键的几何约束。

• 提出了一种几何深度平滑损失方法，以最小化估计的先验深度图不准确性对高斯地图的不利影响，并引导其对齐到正确的几何位置。

• 提出了一种稀疏-密集调整环（SDAR）策略，以统一稀疏视觉测距和稠密高斯地图的尺度一致性。

5. 基本原理是啥？

MGS-SLAM利用RGB图像作为输入，同时进行相机位姿估计和逼真的稠密地图构建。该方法的核心思想是使用预先训练的多视角立体（MVS）网络，将单目稀疏视觉里程计和密集的高斯分布映射相结合，并通过稀疏-密集调整环（SDAR）来保持稀疏点云地图与密集高斯地图之间的尺度一致性。具体来说，在前端部分，跟踪RGB图像为后端提供粗略的相机位姿和先验深度图在后端部分，使用高斯函数表示密集地图，并联合优化地图和来自前端的粗略位姿。在系统组件部分，报告了系统初始化、为系统选择关键帧以及通过SDAR策略纠正稀疏点云地图与密集高斯地图之间的尺度。

系统流水线。系统输入一个 RGB 流，并行运行前端和后端处理。在前端，稀疏视觉里程计从图像中提取块特征以估计姿态。这些估计的姿态和图像是预先训练的多视角立体（MVS）网络的输入，该网络估计先验深度图。在后端，估计的先验深度图和图像，连同来自前端的姿态，被用作监督信息来构建高斯地图。前端和后端通过稀疏-稠密调整环（SDAR）策略保持尺度一致。

先验深度估计网络。网络的输入是具有来自稀疏视觉里程计的姿态的图像，图像特征由特征金字塔网络（FPN）提取并变换为2D成本体积。最后，使用从粗到精的策略对其进行编码和解码，生成深度图。

6. 实验结果

为了相机跟踪的准确性，我们报告了关键帧绝对轨迹误差（ATE）的均方根误差（RMSE）。将MGS-SLAM与其他方法进行了基准测试，这些方法与MGS-SLAM一样，没有明确的闭环。我们不仅比较了单目方法，还比较了RGBD方法。比较工作非常全面，包括传统的直接视觉里程计、基于学习的SLAM、神经隐式SLAM，以及最近的基于高斯喷洒的SLAM。表I显示了在TUM数据集上的跟踪结果，SplaTAM的跟踪精度超过了其他RGB-D方法。MGS-SLAM的跟踪精度也比其他单目方法高出40%，同时超过了SplaTAM。表II显示了在Replica数据集上的跟踪结果。相同的基于高斯喷洒的MonoGS在Replica数据集的一些场景中出现了跟踪丢失。MGS-SLAM完成了全场景跟踪，表现出鲁棒性，并取得了最先进的跟踪结果。此外，两张表的实验数据显示，MGS-SLAM的跟踪性能优于基于DPVO的前端。这证明了MGS-SLAM将稀疏视觉里程计和高斯映射相结合以实现更强大和更精确的SLAM系统的有效性。

新视角渲染

在Replica上评估了新颖视角渲染的方法。为了评估地图质量，我们报告了标准的光度渲染质量指标（PSNR、SSIM和LPIPS），正在比较的方法具有RGB-D输入和单眼输入。NICE-SLAM和Vox-Fusion是RGB-D输入，其余都是单目输入。MonoGS的渲染结果是在其跟踪丢失之前的平均值。表III显示了结果，MGS-SLAM在大多数场景中达到了最先进的水平。

消融分析

建图损失消融。通过引入深度损失、平滑损失和各向同性损失改变了原始的3D高斯喷洒损失函数。如表IV所示，我们对这些损失进行了消融研究，并通过ATE、PSNR和深度L1度量评估了它们的影响。结果显示，所有这些损失都有助于系统的精度改进。值得注意的是，深度损失利用了网络的估计先验深度图。尽管这提高了我们系统的几何性能，但也导致了不正确的几何引导。添加了平滑损失后，几何精度进一步提高，证明了平滑损失可以纠正估计先验深度图的某些不良影响。

稀疏-密集调整环消融。我们提出了稀疏-密集调整环（SDAR）策略来统一前端和后端的尺度。这个策略包括三个组件。我们对这三个组件进行了消融研究，以展示它们对系统的影响。消融研究的度量也采用了PSNR、SSIM和LPIPS。如表V所示，SDAR对系统的贡献主要体现在跟踪精度ATE上。系统的跟踪精度与没有SDAR策略的DPVO相似。系统在有SDAR策略时的跟踪精度是最先进的。这证明了将稀疏视觉里程计和高斯映射相结合建立更准确和更鲁棒的SLAM系统的重要性。

运行时间分析

如表VI所示，我们对我们提出的系统在TUM fr3/office数据集上的运行时间进行了分析，并与其他方法进行了比较。结果表明，我们的系统每秒帧数（fps）比其他基于高斯喷洒的SLAM方法更高。这个优势主要归功于快速的前端跟踪。这些发现强调了我们的方法的有效性，它将稀疏视觉里程计和高斯建图相结合。

7. 总结

这封信介绍了MGS-SLAM，一种新颖的高斯喷洒式SLAM框架。首次，我们的框架将稀疏视觉里程计与高斯建图相结合，解决了高斯喷洒式SLAM在更大场景中遇到的跟踪丢失问题，并消除了对深度图输入的需求。我们开发了一个轻量级的MVS深度估计网络来促进这种整合。此外，我们提出了稀疏-密集调整环（SDAR）策略来调整稀疏地图与高斯地图之间的尺度。比较评估表明，与先前方法相比，我们的方法实现了最先进的准确性。