2019 NAACL-HLT《Learning to Navigate Unseen Environments:Back Translation with Environmental Dropout》
本文提出了一种可泛化的导航智能体。智能体的训练分两个阶段进行。第一阶段是通过混合模仿学习和强化学习进行训练,结合离线策略和在线策略优化的好处。第二阶段是通过引入新的“unseen”三元组(环境、路径、指令)进行微调。为了生成这些“unseen triplets”,我们提出了一种简单而有效的“environmental dropout”方法来模拟看不见的环境,这克服了有限的可见环境中可变性的问题。接下来,我们将半监督学习(通过反向翻译)应用于这些被丢弃的环境,以生成新的路径和指令。从经验上看,我们表明,当对这些三元组进行微调时,我们的智能体在泛化性方面表现得更好,在Room-to-Room任务中的unseen test数据集上表现得比最先进的方法要好得多,并在排行榜上名列前茅。
1 Introduction
本文我们主要解决指令引导导航的任务,其中智能体根据给定环境中的给定自然语言指令寻求从起点视点到终点视点的路线,如图1所示。我们使用的导航模拟器是房间到房间(R2R)模拟器(Anderson等人,2018b),它使用来自Matterport3D (Chang等人,2017)室内家庭环境的真实