2021 ICRA《Hierarchical Cross-Modal Agent for Robotics Vision-and-Language Navigation》阅读笔记

 连续环境中的机器人视觉和语言导航（RoboVLN）任务和我们提出的分层跨模式（HCM）代理。 Agent通过模块化的训练机制将推理和模仿解耦，以解决复杂的长期RoboVLN任务。

1 Abstract

在VLN任务中，我们将Agent从导航图中移除，并在连续的3D重建环境中提出了一个更复杂但更接近现实世界的VLN设置，在该设置中，机器人VLN任务具有较长的轨迹长度、连续的动作空间、考虑障碍物等挑战，对此，我们提出将机器人VLN任务分解成专门的高级策略和低级策略。实验表明，我们提出的分层跨模态（HCM）代理在所有关键指标上都优于现有的基线，并为Robo VLN 建立了一个新的基线。

本文基于VLN-CE，考虑在连续环境中实现VLN任务。对于长轨迹的连续VLN设置，提出了利用层次结构来解耦跨模态推理和模仿的方法，从而使代理具备以下能力：

1）解耦推理和模仿。

代理由高级策略和相应的低级策略组成。高级策略的任务是将相关指令与观察到的视觉线索对齐，并且推理出哪些指令已经完成了，从而通