连续环境中的机器人视觉和语言导航(RoboVLN)任务和我们提出的分层跨模式(HCM)代理。 Agent通过模块化的训练机制将推理和模仿解耦,以解决复杂的长期RoboVLN任务。
1 Abstract
在VLN任务中,我们将Agent从导航图中移除,并在连续的3D重建环境中提出了一个更复杂但更接近现实世界的VLN设置,在该设置中,机器人VLN任务具有较长的轨迹长度、连续的动作空间、考虑障碍物等挑战,对此,我们提出将机器人VLN任务分解成专门的高级策略和低级策略。实验表明,我们提出的分层跨模态(HCM)代理在所有关键指标上都优于现有的基线,并为Robo VLN 建立了一个新的基线。
本文基于VLN-CE,考虑在连续环境中实现VLN任务。对于长轨迹的连续VLN设置,提出了利用层次结构来解耦跨模态推理和模仿的方法,从而使代理具备以下能力:
1)解耦推理和模仿。
代理由高级策略和相应的低级策略组成。高级策略的任务是将相关指令与观察到的视觉线索对齐,并且推理出哪些指令已经完成了,从而通