1 Abstract and Introduction
主要内容:构建了能够准确表示环境对象的空间位置和语义信息的地图—WS-MGMap。
实施方法:
1)构建了一个多粒度映射来表示环境对象的细粒度细节(如颜色纹理)和抽象语义信息。
2)提出了一种弱监督对象定位辅助任务,代理从中学习多粒度信息来推断有区别的地图表示,而不需要手动地图注释。
结果:代理不仅可以定位与指令相关的导航对象,而且还被鼓励学习更好的地图表示,来表示对象信息。之后,将学习到的地图和指令提供给航路点预测器来确定下一个导航目标。实验表明,该方法在可见和不可见环境中的成功率分别比最先进的方法高出4.0%和4.6%。
VLN的弱监督多粒度映射(WS-MGMap)
首先,将现有的语义映射扩充为多粒度映射,如图1(b)所示。该映射包含不同的粒度信息,即分割模型识别的高级对象语义和低级对象细粒度细节。为获得低层次细节,使用工作【4】将高维分割模型的潜在特征投影到自上而下的映射中,这些潜在特征中包含丰富的物体细节如颜色、纹理和形状。
其次,为使上述得到的多粒度特征使映射更好地表示指令对象,提出了一个与指令相关的对象定位辅助任务,如图1(b)所示。具体来说,将地图表示和指令对象提供给定位器来预测这些对象的位置。我们不是手动