2023ICCV《GridMM: Grid Memory Map for Vision-and-Language Navigation》阅读笔记

Abstract

视觉和语言导航（VLN）使代理能够在3D环境中按照自然语言指令导航到远程位置。为了表示以前访问过的环境，大多数VLN方法使用递归状态、拓扑映射或自上而下的语义映射来实现内存。与这些方法相反，我们构建了自上而下的自我中心和动态增长的网格内存映射（即GridMM）来构建访问环境。从全局角度来看，历史观测以自上而下的方式投影到统一的网格图中，可以更好地表示环境的空间关系。从局部角度来看，我们进一步提出了一种指令相关性聚合方法，以捕获每个网格区域中的细粒度视觉线索。在离散环境中的REVERIE、R2R、SOON数据集和连续环境中的R2R-CE数据集上进行了大量实验，表明了我们提出的方法的优越性。代码开源。

1 Introduction

视觉和语言导航（VLN）任务[4，35，42]要求代理理解自然语言指令并根据指令行事。已经提出了两种不同的VLN场景，即在离散环境（例如R2R[4]、REVERIE[42]、SOON[65]）和连续环境（例如，R2R-CE[34]、RxRCE[35]）中导航。离散环境下的VLN中被抽象为互连的可导航节点的拓扑结构，使用