文章聚焦于多模态大模型（MLMs）时代下具身人工智能（Embodied AI）领域。探讨了Embodied AI在实现人工通用智能（AGI）中的重要性和作为连接网络空间与物理世界的基础技术的角色。特别地，随着多模态大模型和世界模型（WMs）的出现，这些架构因其出色的感知、交互和推理能力而被视作具身代理的“大脑”。首先回顾了具身机器人和模拟器的代表工作，分析了其研究重点和局限性；随后，详细讨论了四个主要研究领域：具身感知、具身交互、具身代理以及模拟到现实的适应。此外，文中还探索了多模态大模型在虚拟和实体具身代理中的应用，并强调了它们对于实现在动态数字和物理环境中的交互的重要性。最后，文章总结了具身AI所面临的挑战和局限，并指出了未来的发展方向。这项研究为具身AI领域的学者提供了重要的参考，并鼓励更多的创新。

具身人工智能的最新进展--综述_数据

1 具身机器人

具身机器人仅体现在多模态大模型（MLMs）和世界模型（WMs）的应用上，还涉及到了视觉语言导航、物体抓取等多种复杂的交互任务。例如，英伟达开发的NvidiaVIMA系统能够在视觉和文本提示的指导下执行复杂任务，甚至模拟物理现象。特斯拉的人形机器人Optimus也在不断迭代，马斯克预测它将成为特斯拉未来的长期价值来源之一。此外，斯坦福大学李飞飞团队发布的成果表明，机器人可以通过接入大模型直接理解人类的自然语言指令，并将其转化为具体的行动。这些进展标志着具身机器人正朝着更加自主和智能的方向发展，有望在未来实现更广泛的应用场景。

具身人工智能的最新进展--综述_模态_02


2 具身研究四大领域

（1）具身感知

     具身感知的主要任务是：估测，识别和操作。

  • 估测: 依据触觉信息推断出物体的特性，如硬度、形状等。
  • 识别: 根据触觉反馈识别物体的种类。
  • 操作: 利用触觉信息指导对物体的操作过程。

 对于非视觉感知的触觉，触觉传感器的设计原理类似于人类皮肤的触觉机制，即当物体接触皮肤时，皮肤发生形变并通过丰富的神经细胞发送电信号。根据设计原理的不同，触觉传感器可以分为非视觉基、视觉基和多模态三种类型。而非视觉基触觉传感器是主要依赖于电学或力学原理，记录力、压力、振动和温度等基本低维感官信息。

具身人工智能的最新进展--综述_模态_03

（2）具身交互

    具身交互中基于视觉语言导航(VLN)的任务主要有：

  • MiC: 需要大型语言模型(LLM)直接预测目标位置，并通过描述场景感知提供导航指令。这种方法要求LLM充分运用其“想象”能力来构建想象中的场景。
  • MCR-Agent: 设计了一个三层行动策略，需要模型预测目标位置、预测目标交互所需的像素级掩码，并从前一次导航决策中学习。
  • OVLM: 要求LLM预测指令对应的行动序列和地标序列。在导航过程中，视觉语言地图会不断更新和维护，并且行动会与地图上的地标相链接。


（3）具身智能体

具身智能体中基于视觉语言动作(VLA)模型有：

  • MiC: 需要LLM直接预测目标位置，并提供导航指令。
  • MCR-Agent: 采用了三层行动策略，包括目标预测、目标交互像素级掩码预测和从历史导航决策中学习。
  • OVLM: 要求LLM预测操作和地标序列，在导航过程中持续更新视觉语言地图。


（4）具身世界模型

具身世界模型是在模拟中创建与真实环境相似的世界模型，帮助算法在转移到现实世界时更好地泛化。其需要通过收集物理世界的数据来训练模型。并且利用具身控制算法，来开发能够适应不同环境变化的控制策略。随后实现模拟到现实(Sim-to-Real)适应，将模拟环境中学习的能力或行为转移到现实世界的过程。这包括验证算法、模型和控制策略的有效性，确保它们能在物理环境中稳健可靠地运行。

  • 具身世界模型与VLA模型的区别: VLA模型首先在大规模互联网数据上进行训练以获得高级能力，然后与真实世界机器人数据共同微调。而世界模型则从零开始在物理世界数据上训练，逐渐发展出高级能力。
  • 具身世界模型适用场景: 适用于输入输出相对结构化的任务，如自动驾驶和物体分类等，但不太适合处理高度未结构化的复杂任务。

具身人工智能的最新进展--综述_模态_04

3 多模态大模型应用

多模态大模型（MLMs）在具身人工智能（Embodied AI）领域的应用十分广泛且深入。这类模型通过整合多种感官信息，如视觉和语言，使得具身智能体能够在复杂的环境中进行高效导航和交互。例如，通过增强跨模态匹配方法，代理可以更好地理解指令，并利用其历史决策进行自我监督学习。同时，利用大型语言模型（LLMs）和视觉编码器的融合，可以提升代理对历史记忆的理解，并基于此执行更复杂的任务。此外，图谱学习技术也被用来预测连续环境中可移动路径点，帮助代理将复杂导航转化为节点间的简单导航，从而缩小了从离散到连续环境性能差距。这些进步共同推动了具身代理在理解和应对动态物理环境方面的显著提升。

具身人工智能的最新进展--综述_人工智能_05

4 结语

文章对多模态大模型时代具身人工智能领域的全面综述，涵盖了具身机器人的最新进展、模拟器、感知、交互、具身代理及从模拟到现实世界的适应等关键研究方向。

论文题目： Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI

论文链接：  https://arxiv.org/abs/2407.06886


PS: 欢迎大家扫码关注公众号_，我们一起在AI的世界中探索前行，期待共同进步！

具身人工智能的最新进展--综述_人工智能_06

精彩回顾

1.  复杂处理下的因果推断--综述

 2. 探索用于多类无监督异常检测的状态空间模型

 3. 一种用于治疗性肽生成的多模态对比扩散模型