基于NeRF/Gaussian的全新SLAM算法

基于NeRF的SLAM算法采用全局地图和图像重建损失函数，通过可微分渲染捕获稠密的光度信息，具有高保真度。但是用Implicit Neural Representation（隐式神经表达）对场景建模导致了许多问题：

• query过程（可以理解为射线渲染）需要大量的采样，渲染方法成本很高
• 用了大型多层MLP，运算量大，占用内存高
• 不容易编辑
• 不能显式地对空间几何建模
• 导致“遗忘”问题

SLAM技术通常部署在机器人身上，性能尤为关键。后续出现了一系列解决NeRF重建效果和性能的论文，基于3D高斯辐射场的SLAM有以下好处:

• 快速渲染和丰富的优化：Gaussian Splatting可以以高达400 FPS的速度渲染，使其比隐式表达更快地可视化和优化。
• 有明确空间范围的建图：现有地图的空间边界可以通过在之前观察到的部分场景中添加高斯函数来控制。给定一个新的图像帧，我们可以通过渲染剪影识别场景的哪些部分是新内容（在地图的空间边界之外）。这对于Tracking任务很重要，因为我们只想将已经建好图的部分与新图像帧进行比较。隐式表达就不行了，因为在对未知区域建图优化的时候，全局的优化会影响到神经网络。
• 显式地图:我们可以通过添加更多的Gaussian函数来任意地增加地图容量。而且这种显式的表达让我们可以编辑场景中的某些部分，同时仍然允许真实的渲染。隐式方法不能轻易地增加其容量或编辑其所表示的场景。

原文链接：基于NeRF/Gaussian的全新SLAM算法

主讲人介绍

课程大纲