2024VLN综述（1）

1 INTRODUCTION

视觉语言导航（VLN）[12-14]作为体现智能领域的一个重要研究方向，融合了人工智能、自然语言处理、计算机视觉和机器人技术。其目的是通过理解自然语言指令和解释视觉信息，使代理能够在虚拟和真实环境中导航[15-17]。这种方法不仅为更自然、更高效的人机交互铺平了道路，而且符合人类对人工智能未来发展的期望。如图1所示，VLN代理通常将视觉信息和语言指令作为输入进行处理，输出包括导航动作和对象识别，从而促进在复杂环境中的有效导航[18，19]。VLN的进步得到了计算机视觉和自然语言处理领域的进步的支持，特别是在对象分类[20]、对象检测[21]、语义分割[22]和大规模预训练的语言模型[23，24]，为VLN开发提供了坚实的基础，并增强了代理在复杂环境中发挥作用的能力。

尽管技术取得了重大进步，但通过VLN实现内含智能仍然面临挑战。其中包括有效整合多模式信息，解决训练数据有限和泛化能力不足的问题。本文旨在深入探讨VLN在化身智能领域的研究现状和未来前景，全面分析VLN的基本原理、研究成果、核心机制和发展轨迹。它介绍了相关的数据集，并通过分析不同模型的架构、优势、局限性和评估指标来量化导航性能，总结了研究进展并展望了未来的发展方向。

2 PRELIMINARIES

VLN所需的关键技术主要包括计算机视觉、自然语言处理、机器人导航和视觉语言学习。

在计算机视觉领域，深度学习[40]的应用彻底改变了图像处理方式，从手动特征提取（如SIFT和HOG）转变为CNN