NeurIPS 2022《Weakly-Supervised Multi-Granularity Map Learningfor Vision-and-Language Navigation》阅读笔记

1 Abstract and Introduction

主要内容：构建了能够准确表示环境对象的空间位置和语义信息的地图—WS-MGMap。

实施方法：

1）构建了一个多粒度映射来表示环境对象的细粒度细节（如颜色纹理）和抽象语义信息。

2）提出了一种弱监督对象定位辅助任务，代理从中学习多粒度信息来推断有区别的地图表示，而不需要手动地图注释。

结果：代理不仅可以定位与指令相关的导航对象，而且还被鼓励学习更好的地图表示，来表示对象信息。之后，将学习到的地图和指令提供给航路点预测器来确定下一个导航目标。实验表明，该方法在可见和不可见环境中的成功率分别比最先进的方法高出4.0%和4.6%。

VLN的弱监督多粒度映射（WS-MGMap）

首先，将现有的语义映射扩充为多粒度映射，如图1(b)所示。该映射包含不同的粒度信息，即分割模型识别的高级对象语义和低级对象细粒度细节。为获得低层次细节，使用工作【4】将高维分割模型的潜在特征投影到自上而下的映射中，这些潜在特征中包含丰富的物体细节如颜色、纹理和形状。

其次，为使上述得到的多粒度特征使映射更好地表示指令对象，提出了一个与指令相关的对象定位辅助任务，如图1(b)所示。具体来说，将地图表示和指令对象提供给定位器来预测这些对象的位置。我们不是手动