动态slam--Learn to Memorize and to Forget: A Continual Learning Perspective of Dynamic SLAM

Learn to Memorize and to Forget: A Continual Learning Perspective of Dynamic SLAM

paper

摘要： 由于表达能力和持续学习的创新范式，具有隐式神经表示的同步定位和建图（SLAM）受到了广泛的关注。然而，在动态环境中部署这样的系统尚未得到充分研究。即使对于传统算法来说，这些挑战也是棘手的，因为从不同视图对涉及的动态物体进行观察打破了几何和光度一致性，而一致性为联合优化相机位姿和地图参数奠定了基础。在本文中，充分利用了持续学习的特点，提出了一种用于动态环境的新型 SLAM 框架。虽然过去的方法已经努力通过利用经验重放策略来避免灾难性遗忘，但我们认为遗忘是一个理想的特征。通过自适应地控制重放缓冲区，可以通过遗忘轻松减轻由移动对象引起的歧义。我们通过引入用于动态对象识别的持续学习分类器来限制动态对象的重放。神经图和分类器的迭代优化显着提高了SLAM系统在动态环境下的鲁棒性。在具有挑战性的数据集上进行的实验验证了所提出框架的有效性。

---

图1：在具有挑战性的动态环境下引入了基于持续学习的 SLAM 框架（顶行）。所提出的方法联合学习一个分类器来减轻移动物体（中间行）引起的影响，以及一个神经图来将过去的观察结果记忆为神经辐射场（底部行）。位姿、地图和分类器参数的迭代优化形成了一个强大的 SLAM 系统，可以在不断变化的开放世界中自适应地学习记忆和遗忘。

主要贡献：

1. 首次提出在具有挑战性的动态环境下部署密集的神经 SLAM 框架。所提出的方法可以实现可靠的运动分割、鲁棒的相机跟踪以及在不同环境变化下方便的地图更新。
2. 提出了一种持续学习方法来更新记录环境中物体运动状态的分类器。实例感知分类器适用于开放世界场景，并表现出正向和反向传输。该模块还可以通过预训练整合有关潜在可移动实例的先验知识。
3. 可以利用持续学习的遗忘机制来更新不断变化的环境条件下的神经场景表示。

---

这项工作的中心思想是建立一个通用框架，以减轻不断变化的环境下观测结果与存储的地图之间的差异。该框架有望区分过去的观察结果，哪些是需要记住的不变特征，哪些是需要忘记的变化区域。通过这种方式，只有满足长期多视图一致性的可靠特征才会被保留，并且只有动态区域之外的错误才会被反向传播以更新位姿和地图参数。在实践中，我们采用持续学习的方式，即动态训练神经图和运动状态分类器，将连续观察中的知识提取到紧凑的网络中。该贴图将充当场景辐射度的全局存储器，而分类器将充当动态对象检测器。两个网络的迭代优化定义了鲁棒神经 SLAM 系统的记忆-遗忘循环。

学习记忆：随着神经 SLAM 的最新进展，采用基于经验回放的持续学习来进行测试时地图优化，其中显式存储一组关键帧，以便将误差反向传播到网络参数优化。关键帧可以被视为过去经验的压缩知识。然后，在给定不断重放的关键帧缓冲区的情况下，地图可以通过基于梯度的优化来记住知识。
学会遗忘：由于神经网络表现出高度的可塑性，过去的知识在不断的分布变化过程中很容易被遗忘。我们期望框架能够自适应地忘记场景动态，同时保留不变信息。请注意，过去的知识是由重放的关键帧控制的，我们利用分类器来识别存储的关键帧中已更改的区域。如果禁止重播每个关键帧上的动态区域，神经映射中的遗忘自然会发生。分类器应该是实例化的，并且一旦环境发生变化就可以有效地适应。然后可以将更新的运动状态传递到存储的关键帧以强制遗忘。

图2. 所提出方法的概述。有效地集成了实例分割模块、视觉编码器和持续学习的分类器，以实现准确的动态对象识别，从而在复杂的动态环境中实现稳健的定位和映射。

===

具体详细方法参见论文，个人理解有限 paper

===
实验
表 1：ATE (RMS) 与专为动态环境中部署而设计的传统 SLAM 算法的比较。

图7：分类器是否持续学习的比较。第2行和第4行示出了分类器在不同时间对第190帧中的动态实例的判定结果。第 3 行和第 5 行显示渲染结果以演示地图中的变化。

图 8：视觉编码器的不同选择导致预测传入帧中的对象运动状态的不同行为。

图 9：先验知识的结合可以在高动态环境下实现更稳健的相机跟踪。

补充材料：

掩模选择策略有助于减少大量不必要的掩模，从而减少对系统的干扰。

映射和跟踪的附加比较结果。