本文提出了一种基于环境 dropout 的半监督学习方法，用于改善指令引导的视觉语言导航（VLN）任务中的智能体泛化能力。在混合模仿学习和强化学习后，通过反向翻译生成新环境和指令，利用环境 dropout 产生多样性，以克服有限环境带来的局限。实验结果表明，这种方法在 Room-to-Room 任务中提高了智能体的泛化性能，尤其是在看不见的测试环境中，超越了现有的先进模型。
2019 NAACL-HLT《Learning to Navigate Unseen Environments:Back Translation with Environmental Dropout》
本文提出了一种可泛化的导航智能体。智能体的训练分两个阶段进行。第一阶段是通过混合模仿学习和强化学习进行训练，结合离线策略和在线策略优化的好处。第二阶段是通过引入新的“unseen”三元组(环境、路径、指令)进行微调。为了生成这些“unseen triplets”，我们提出了一种简单而有效的“environmental dropout”方法来模拟看不见的环境，这克服了有限的可见环境中可变性的问题。接下来，我们将半监督学习(通过反向翻译)应用于这些被丢弃的环境，以生成新的路径和指令。从经验上看，我们表明，当对这些三元组进行微调时，我们的智能体在泛化性方面表现得更好，在Room-to-Room任务中的unseen test数据集上表现得比最先进的方法要好得多，并在排行榜上名列前茅。
1 Introduction
本文我们主要解决指令引导导航的任务，其中智能体根据给定环境中的给定自然语言指令寻求从起点视点到终点视点的路线，如图1所示。我们使用的导航模拟器是房间到房间(R2R)模拟器(Anderson等人，2018b)，它使用来自Matterport3D (Chang等人，2017)室内家庭环境的真实
订阅专栏 解锁全文
383
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
