【论文阅读】BEVNav: Robot Autonomous Navigation ViaSpatial-Temporal Contrastive Learning inBird’s-Eye View_bevnav: robot autonomous navigation via spatial-te-CSDN博客

本文链接：https://blog.csdn.net/qq_33673253/article/details/145534272

摘要：在无地图环境中，目标驱动的移动机器人导航需要有效的状态表示以实现可靠决策。受鸟瞰图（BEV）在点云视觉感知中良好特性的启发，本文提出了一种名为 BEVNav 的新型导航方法。它利用深度强化学习来学习 BEV 表示，提高决策的可靠性。首先，我们提出一种自监督的时空对比学习方法来学习 BEV 表示。在空间上，通过点云的两个随机增强视图相互预测，强化空间特征。在时间上，将当前观测与连续帧的动作相结合，预测未来特征，建立观测转换与动作之间的关系，以捕捉时间线索。然后，将这种时空对比学习融入到软演员 - 评论家 Soft Actor-Critic 强化学习框架中，BEVNav 提供了卓越的导航策略。大量实验表明，BEVNav 在行人密集的环境中具有很强的鲁棒性，在多个基准测试中优于现有方法。代码将在 BEVNav 上公开。

一、引言

在无地图环境中，目标驱动的移动机器人导航是机器人学中的一项基本且具有挑战性的任务。其目标是在动态场景中到达指定目标的同时避免碰撞。现有方法主要利用深度图像来感知环境。例如，Thomas 等人提出了一种自注意力模型，从深度图像中提取特征；de Jesus 等人开发了一种基于深度图像的对比表示学习方法，用于引导无人机在无地图环境中导航；Jiang 等人介绍了一种使用深度图像的端到端强化学习（RL）导航算法，采用深度图像掩码对比学习技术来表示场景的时空状态。

然而，使用深度图像作为二维观测，很难直接学习与三维动作的映射关系，尤其是在动态复杂环境中。受 BEV 表示学习在感知任务中成功应用的启发，我们发现 BEV 在三维移动机器人导航中具有巨大潜力。BEV 可以更好地捕捉静态和动态障碍物，因为在自动驾驶等场景中，障碍物的移动主要发生在水平面上。通过压缩三维点云，BEV 自然地过滤掉高度维度的噪声，为规划正确路线带来希望。为此，我们提出了一种基于深度强化学习（DRL）的新型导航方法 BEVNav，它采用稀疏 - 密集 BEV 网络，通过深度强化学习从稀疏的三维点编码密集的 BEV 特征，从而提高决策的可靠性。

从技术上讲，为了增强对动态场景理解和支持可靠决策至关重要的 BEV 表示，我们设计了一种新的自监督表示学习方法。如图 1 所示，它由空间对比学习（SCL）和时间对比学习（TCL）组成。虽然强化学习可以有效地处理决策问题，但它没有直接解决学习有效状态表示的挑战，而这在机器人导航中至关重要。相比之下，自监督对比学习可以通过利用未标记的观测显著提高空间表示的质量。受 SimSiam 的启发，我们提出了 SCL，它使用非对称架构使点云的两个随机增强视图相互预测，显著提高了机器人视觉表示的质量。

SimSiam 是一种自监督学习方法，由论文《Exploring simple siamese representation learning》提出，核心在于通过构建简单的连体网络结构，利用无标签数据学习有效的视觉特征表示。它对 BEVNav 中的空间对比学习（SCL）设计有重要启发。

这种方法为复杂导航场景中的机器人提供了更准确的空间状态估计，有助于实现更高效、可靠的导航性能。另一方面，为了增强机器人在复杂环境中的决策能力，准确理解和预测场景中障碍物的动态变化对做出有效的导航决策至关重要，我们提出了 TCL，将当前观测与连续帧的动作相结合，预测未来特征。它建立了观测转换与动作之间的关系，以捕捉时间线索。基于这些设计，BEVNav 在具有挑战性的场景中，包括在拥挤的行人环境中导航和推广到未见过的环境，表现出比当前最先进（SOTA）方法显著的性能优势。

本文的主要贡献如下：

提出了 BEVNav，这是一种基于深度强化学习的新型视觉导航方法，引入 BEV 表示，增强机器人在导航领域对动态环境的感知。
引入稀疏 - 密集 Sparse-Dense BEV 网络，用于从稀疏的三维点云提取密集的 BEV 特征。此外，提出了一种新的自监督学习方法，结合了空间和时间对比学习。这种方法帮助机器人有效地捕捉场景障碍物的空间线索，并推断其时间动态。
在多个公共基准测试上的实验表明，所提出的 BEVNav 优于以前的 SOTA 方法，有效地提高了在具有挑战性的场景中的导航性能。

二、相关工作

（一）无地图点目标机器人导航中的深度强化学习

在机器人视觉导航领域，研究人员致力于提高环境感知和决策能力。Wijmans 等人开发了一种分布式、去中心化和同步的强化学习方法（DD - PPO），实现了显著的训练效率，并解决了无地图的复杂自主导航任务。Partsey 等人优化了数据集和模型大小，并使用无人工标注的数据增强技术，在现实的点目标导航挑战中提高了导航成功率，即使在缺乏 GPS 和指南针数据的环境中也是如此。同时，Tsunekawa 等人使用基于点云的方法和多尺度特征网络解决部分可观测性问题，尽管他们采用的 PointNet 架构没有提供清晰的空间层次结构，限制了其在复杂场景中的有效性。相比之下，本文提出了一种基于深度强化学习的新型导航方法 BEVNav，它将鸟瞰图中的三维点云转换为有效表示，以在复杂环境中实现准确的视觉感知和决策。