视觉语言导航（VLN）技术梳理

本账号之前已推出视觉语言导航（VLN）技术的入门知识整理 。

现在，我们将推出关于VLN技术的梳理文章系列，以下是文章的目录框架。

内容将定期更新，欢迎各位关注并订阅，也期待志同道合的朋友一起参与！

一、基础概念

1. 任务定义与分类

• VLN定义：明确视觉语言导航的基本概念，解释其在视觉和语言结合导航中的作用.

• 任务分类：

  • 根据指令任务分类：按照指令的复杂度、长度等维度划分任务类型.

  • 根据场景虚实分类：区分虚拟场景和真实场景中的导航任务，分析各自特点和挑战.

  • 根据导航环境分类：如室内、室外、城市、乡村等不同环境下的导航任务.

2. 模拟器与数据集

• 常用模拟器：

  • MatterSim：介绍其特点、优势以及在VLN研究中的应用情况.

  • Habitat：阐述其功能、与MatterSim的对比以及在不同场景下的适用性.

  • AirSim：描述其在无人机VLN研究中的作用.

• 数据集：列举主要的VLN数据集，说明其规模、特点和对模型训练的重要性.

3. 评估指标

• 成功率相关指标：如导航任务的完成率、到达目标地点的准确度等.

• 效率相关指标：包括导航路径长度、导航时间等，衡量导航效率的高低.

• 路径指令匹配度：评估模型生成的路径与指令描述的路径之间的匹配程度.

二、指令与场景表示

1. 指令表示

• 传统序列模型：RNN/LSTM/GRU/Transformer，分析其在捕捉指令序列依赖关系中的优势与局限.

• 预训练语言模型：

  • BERT及其变体：介绍BERT在指令理解中的应用，以及其变体如何针对VLN任务进行优化.

  • 大语言模型：探讨大语言模型在处理复杂指令、生成更准确导航策略方面的潜力.

2. 场景表示

• 视觉特征提取：CNN在提取场景图像特征中的作用，如何为导航决策提供视觉信息支持.

• 结构化场景表示：

  • 场景图：构建场景图的方法及其在表示场景结构、物体关系中的优势.

  • 占据栅格图：描述占据栅格图如何表示场景的可通行区域和障碍物.

  • 鸟瞰图：鸟瞰图在提供全局场景视图、辅助规划导航路径中的应用.

3. 跨模态融合

• 基于注意力机制的融合：利用注意力机制实现指令与场景信息的深度融合，突出关键信息.

• 跨模态联合编码融合：通过联合编码的方式，将指令和场景信息共同编码，提升模型对导航任务的理解能力.

• 多模态大模型编码融合：结合多模态大模型，实现指令、场景等多种模态信息的高效融合.

4. 历史记忆

• 向量表示：如何用向量表示导航过程中的历史信息，为后续决策提供参考.

• 拓扑图表示：构建拓扑图记录导航路径和场景结构，辅助模型记忆和规划.

三、导航决策

1. 监督学习

• 标签类型：

  • 静态标签：如固定的目标位置、可通行区域等，用于指导模型学习基本的导航规则.

  • 动态标签：根据导航过程中的实时状态生成的标签，帮助模型适应动态变化的环境.

2. 辅助任务

• 进度估计：预测当前导航任务的完成进度，为决策提供时间参考.

• 轨迹重述：对已走过的轨迹进行重述，帮助模型更好地理解和记忆导航路径.

• 跨模态匹配：将指令与场景中的物体、区域等进行匹配，提升导航的准确性.

• 角度预测：预测下一步的导航角度，辅助模型做出正确的转向决策.

• 物体预测：预测场景中可能出现的物体及其位置，提前做出应对策略.

3. 探索与利用

• 回朔：在导航过程中，当遇到错误或困境时，能够回朔到之前的正确路径.

• 环境预探索：在正式导航前，对环境进行预探索，收集更多的场景信息和可能的导航路径.

4. 全局与局部导航

• 局部导航点：确定局部目标点，指导模型在当前区域内的导航决策.

• 全局导航点：设定全局目标点，为整个导航任务提供方向指引.

• dual-scale导航：结合局部和全局导航点，实现不同尺度下的导航策略优化.

四、数据增强

1. 指令扩充

• 指令拼接：将多个指令片段拼接成更长、更复杂的指令，增加数据的多样性.

• 指令生成：利用生成模型自动生成新的指令，扩充数据集规模.

2. 场景扩充

• 场景编辑：对现有场景进行编辑，如改变物体布局、添加新的物体等，生成不同的场景变体.

• 场景分割与重组：将场景分割成多个部分，然后重新组合，创造出新的场景结构.

五、知识增强

1. 知识图谱

• 场景物体关系：构建知识图谱表示场景中物体之间的关系，如物体的相对位置、功能关系等，为导航决策提供额外的知识支持.

2. 大模型知识注入

• 指令实体识别：利用大模型的知识，准确识别指令中的关键实体，如目标物体、路标等.

• 物体分割与识别：在场景表示中，结合大模型的知识进行物体分割和识别，提高场景理解的准确性.

• 多专家讨论：模拟多专家讨论的过程，整合不同领域的知识，为导航任务提供更全面的决策支持.

六、大模型导航推理

1. 上下游集成方法

• 方法概况：介绍大模型与下游导航任务集成的整体思路和框架.

• 典型模型：列举一些成功的集成模型案例，分析其特点和优势.

• 案例分析：详细分析一个具体的案例，展示大模型在导航推理中的实际应用效果.

2. zero-shot方法

• 方法介绍：解释zero-shot方法在大模型导航推理中的应用，如何实现无监督或少监督的学习.

• 典型模型：列举一些采用zero-shot方法的模型案例，说明其创新之处.

• 案例分析：通过一个案例，展示zero-shot方法在导航任务中的实际表现和效果.

3. 大模型微调

• 方法介绍：阐述大模型微调的原理和步骤，如何根据导航任务的特点对大模型进行优化.

• 典型模型：列举一些经过微调的大模型案例，分析其在导航任务中的优势.

• 案例分析：详细分析一个微调模型的案例，展示其在导航推理中的具体应用和效果.

七、导航能力诊断

1. 指令敏感性

• 方向敏感性：评估模型对指令中方向信息的敏感程度，如对“左转”、“右转”等指令的反应准确性.

• 路标敏感性：衡量模型对指令中路标信息的识别和利用能力，如对“红绿灯”、“路牌”等路标的敏感度.

• 数值敏感性：分析模型对指令中数值信息的处理能力，如对“走10米”、“第三个门”等数值指令的准确性.

2. 错误指令判别

• 错误类型识别：识别指令中的错误类型，如语法错误、逻辑错误等，并分析模型的应对策略.

3. 紧急终止

• 紧急终止机制：介绍模型在遇到紧急情况时的终止机制，如何快速、准确地判断并终止导航任务，以保障安全.

八、模型详解

1. DUET

• 模型介绍：概述DUET模型的基本架构和设计理念.

• 环境与数据准备：说明在DUET模型训练中，环境设置和数据准备的具体要求和步骤.

• 核心代码分析：深入分析DUET模型的核心代码，解释关键算法和实现细节.

• 模型训练：描述DUET模型的训练过程，包括训练策略、参数设置等.

• 案例分析：通过具体的案例，展示DUET模型在导航任务中的应用效果和优势.

2. ArielVLN

• 任务介绍与方法梳理：介绍ArielVLN任务的背景和目标，梳理其采用的方法和技术路线.

• 环境安装与数据准备：详细说明ArielVLN模型训练所需的环境安装步骤和数据准备要求.

• 核心代码分析：深入分析ArielVLN模型的核心代码，解释关键算法和实现细节.

• 模型训练：描述ArielVLN模型的训练过程，包括训练策略、参数设置等.

• 案例分析：通过具体的案例，展示ArielVLN模型在导航任务中的应用效果和优势.