2021 CVPR 《VLN BERT: A Recurrent Vision-and-Language BERT for Navigation》论文阅读笔记

作者及代码信息：

代码：https://github.com/YicongHong/Recurrent-VLN-BERT

注：文章仅用作自身学习用，若有侵权联系删除。

目录

1 Abstract and Introduction

２　Proposed Model

  2.1  VLN Background

  2.2  Recurrent VLN BERT 

 3 Conclusion

1 Abstract and Introduction

在本文中，我们提出了一个用于VLN的时间敏感的循环BERT模型。具体来说，我们为BERT模型配备了一个循环函数，该函数为代理维护跨模态状态信息。此外，我们的方法可以推广到其他基于transformer的架构，支持预训练并能够解决导航和引用表达式任务。

VLN可以被看成部分可观察的马尔科夫决策过程，其中未来的观察依赖于智能体当前的状态和行动；同时，在每个导航步骤中，视觉观测只对应部分指令，需要智能体跟踪导航进度，并正确定位相关子指令，以获得决策所需的有用信息。另外，在每一个时间步对一个长视觉和文本执行自我注意将在训练期间消耗过多的GPU。为了解决这些问题，提出了一种用于导航的循环视觉和语言BERT（简称VLN－BERT）。主要方法是基于VL－BERT模型，在其原始架构中通过构建一个循环函数来建模和利用依赖于历史信息的状态表示，而无需显示定义内存缓冲区或应用任何外