三木今天学习了嘛の博客

为了表示以前访问过的环境，VLN 的大多数方法使用循环状态、拓扑图或自上而下的语义图来实现内存我们构建了自上而下的自我中心和动态增长的网格记忆图(即GridMM)来构建访问的环境。从全局角度看，历史观测以自上而下的视角投影成统一的网格图，更能体现环境的空间关系。从局部的角度出发，我们进一步提出了一种指令关联聚合方法来捕获每个网格区域的细粒度视觉线索。大规模预训练在视觉和语言导航（VLN）任务上取得了有希望的结果。

视觉和语言导航(VLN)需要一个具身的智能体在现实的3D环境中使用自然语言指令进行导航。现有的VLN方法在小规模环境或不合理的路径指令数据集上进行训练，限制了对不可见环境的泛化。YouTube上有大量的房屋游览视频，提供了丰富的真实导航体验和布局信息。然而，这些视频之前还没有为VLN进行过探索。在本文中，我们提出通过创建一个大型数据集来从这些视频中学习智能体，该数据集包含来自房屋参观视频的合理路径-指令对（path-instruction pair），并在其上预训练智能体。

我们研究了一个简单的框架，车轮上的CLIP（CoW，CLIP on Wheels），以在不进行微调的情况下使开放词汇模型适应这项任务。为了更好地评估L-ZSON，我们引入了PASTURE基准，该基准考虑了查找不常见的对象、由空间和外观属性描述的对象以及相对于可见对象描述的隐藏对象。我们将CoW视为一个使用开放词汇表模型（open vocabulary model）和基于文本的界面在更灵活的环境中处理机器人任务的例子。