Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigatio

Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation. CVPR,2019

摘要

• Vision-language navigation（VLN）任务是一项令一个在真实3D环境中的智能体按照给定的自然语言指令进行导航移动的任务。在这篇文章中，我们研究如何解决这个任务中的三个关键问题：跨模态的grounding，不适定反馈和模型泛化问题。首先，我们提出了一个基于强化学习的跨模态匹配（RCM)方法，使用RL强制对局部和全局之间的跨模态信息进行grounding。具体地，使用一个匹配度评论家提供内部奖励以鼓励在轨迹和指令之间的全局匹配，再使用一个推理导航员在局部区域内执行跨模态的grounding。在一个经典的VLN基准数据集上测试我们的RCM方法，得到了比之前工作高10%SPL的结果，实现了新的sota表现。为了提高学习策略的泛化能力和通用型，我们还介绍了SIL模型以探索在位置环境中模型模仿过去经验以生成好的决策结果。我们得出结论，SIL在处理未知和已知环境时可以极大化的最小两者差距，得到一个更好更有效的策略。（从30.7%到11.7%）