关于具身智能的视觉-语言-行动模型综述报告

1 摘要深度学习在许多领域取得了显著的成功，包括计算机视觉、自然语言处理和强化学习。这些领域中代表性的人工神经网络包括卷积神经网络、Transformer和深度Q网络。在单模态神经网络的基础上，许多多模态模型被引入来解决各种任务，例如视觉问答、图像字幕和语音识别。在具身智能中，遵循指令的机器人策略的兴起推动了一种新型的多模态模型的发展，称为视觉-语言-动作模型（ Vision-Language-Action, VLA），它们的多模态能力已成为机器人学习领域的基本元素。目前研究学者们已经提出了各种方法来增强多模态模型的特征，如多样性、灵活性和泛化能力。一些模型专注于通过预训练来优化特定的组件，而其他模型旨在开发能够预测低级动作的控制策略。某些VLA作为高层任务规划器，能够将长期任务分解为可执行的子任务。在过去的几年中，大量的VLA涌现反映了具身智能的快速发展，因此，通过综述报告调查是有必要的。本报告主要介绍了VLA模型的背景和应用，总结了不同VLA模型的具体实现方法和优缺点，提出了VLA模型目前的问题和未来研究方向，最后对VLA模型的当前发展现状进行了总结。2 简介　　VLA是一类旨在处理多模态输入、整合视觉、语言和动作信息的模型，这个术语由 RT-2为了解决具身智能任务提出 [1]。与聊天机器人等其他人工智能形式不同，后者通常以ChatGPT [2]为代表，具身智能需要控制物理化身并与环境交互，而机器人技术是具身智能领域最突出的一个方面。在基于语言的机器人任务中，执行的策略不仅必须能够理解语言指令，而且还要对环境进行视觉感知并生成适当行为，这就要求VLA具备多模态能力。与早期深度强化学习方法相比，基于VLA的策略在复杂环境中表现出更好的适应性、灵巧性和泛化性。这使得VLA不仅适用于工厂等受控环境，也适用于烹饪和房间清洁等日常任务。　　基于预训练视觉基础模型、语言模型和视觉语言模型的成功，V