DDN-SLAM

DDN-SLAM：Real-time Dense Dynamic Neural Implicit SLAM with Joint Semantic Encoding

论文链接：https://arxiv.org/abs/2401.01545
参考原文链接：https://zhuanlan.zhihu.com/p/682543523

1、动态环境下的NeRF SLAM方法。
2、利用先验的语义信息来分割场景中的静态和动态特征点，构建了用于潜在动态点和约束关键帧的稀疏流约束。
3、（重建）提出了基于跳跃体素策略的背景填充策略，相较于传统方法更具成本效益。
4、利用语义掩码联合多分辨率哈希编码来实现实时性能、低内存消耗和高质量几何和纹理细节之间的平衡。
5、通过合理的像素填充消除了动态物体的干扰，并限制了鬼影伪像的生成。
6、（跟踪）利用由语义和流线程验证的特征点构建了完整的BA调整和闭环检测框架，在具有挑战性的场景中实现了更强大的跟踪结果。

---

主要贡献：

1、在真实动态场景中实现密集重建的语义SLAM系统。
2、提出了一个框架，结合了流一致性检查，实现在具有挑战性的场景中的强大跟踪。它支持实时闭环检测、在动态或静态场景中进行BA调整，并能够处理来自单目、立体和RGB-D配置的相机输入。

---

两个模块（跟踪和建图），四个线程（分割线程，跟踪线程，建图线程，回环检测线程）

分割线程检测并分割动态特征点和像素，抑制潜在特征点。
跟踪线程提取特征点，接收经过条件过滤的特征点进行跟踪，获取静态光流，生成关键帧和相机姿态。
建图线程接收高低动态的背景分割掩码，执行关键帧生成和体渲染。
回环检测线程检测回环并进行全局BA调整，整个系统可以实时更新。

---

联合语义坐标和哈希编码： 为了解决现实世界中动态对象引入的干扰，采用了特征点分布模型。结合统计和背景分割来获取静态掩模，并消除动态特征点的影响。利用yolov5获取动态边界框先验，形成一个包含动态点的集合。使用深度和异常光流的组合来识别动态点。
边界框外的点可以视为遵循高斯分布的静态点，使用所有深度值的中值作为每个边界框的基线动态点阈值。低于此阈值的深度值被视为前景，前景深度值遵循高斯分布。
引入稀疏光流验证，过滤动态特征点。
体积渲染和语义编码： 为了在遮挡的情况下表示3D场景，采用了体积渲染过程与多分辨率哈希编码结合。这允许有效的几何细节表示和对大规模场景的适应性，其中单位单元的每个角对应于嵌入编码特征的散列网格。
1、分层采样
2、跳跃体素策略
3、建图采用基于输入关键帧的方法，自适应地更新背景掩模以提高建图质量。

跟踪和BA优化：
跟踪
回环检测
BA优化