具身智能综述：鹏城实验室&中大调研近400篇文献，深度解析具身智能

具身智能是实现通用人工智能的必经之路，其核心是通过智能体与数字空间和物理世界的交互来完成复杂任务。近年来，多模态大模型和机器人技术得到了长足发展，具身智能成为全球科技和产业竞争的新焦点。然而，目前缺少一篇能够全面解析具身智能发展现状的综述。因此，鹏城实验室多智能体与具身智能研究所联合中山大学 HCP 实验室的研究人员，对具身智能的最新进展进行了全面解析，推出了多模态大模型时代的全球首篇具身智能综述。

该综述调研了近 400 篇文献，从多个维度对具身智能的研究进行了全面解析。该综述首先介绍了一些具有代表性的具身机器人和具身仿真平台，深入分析了其研究重点和局限性。接着，透彻解析了四个主要研究内容：1) 具身感知，2) 具身交互，3) 具身智能体和 4) 虚拟到现实的迁移，这些研究内容涵盖了最先进的方法、基本范式和全面的数据集。此外，该综述还探讨了数字空间和物理世界中具身智能体面临的挑战，强调其在动态数字和物理环境中主动交互的重要性。最后，该综述总结了具身智能的挑战和局限，并讨论了其未来的潜在方向。本综述希望能够为具身智能研究提供基础性参考，并推动相关技术创新。此外，该综述还在 Github 发布了具身智能 paper list，相关的论文和代码仓库将持续更新，欢迎关注。

论文地址: https://arxiv.org/pdf/2407.06886
具身智能 Paper List: https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List

1. 具身智能的前世今生

具身智能的概念最初由艾伦・图灵在 1950 年建立的具身图灵测试中提出，旨在确定智能体是否能显示出不仅限于解决虚拟环境（数字空间）中抽象问题的智能（智能体是具身智能的基础，存在于数字空间和物理世界中，并以各种实体的形式具象化，这些实体不仅包括机器人，还包括其他设备。），还能应对物理世界的复杂性和不可预测性。因此，具身智能的发展被视为一条实现通用人工智能的基本途径。深入探讨具身智能的复杂性、评估其当前的发展现状并思考其未来的发展轨迹显得尤为重要。如今，具身智能涵盖了计算机视觉、自然语言处理和机器人技术等多个关键技术，其中最具代表性的是具身感知、具身交互、具身智能体和虚拟到现实的迁移。在具身任务中，具身智能体必须充分理解语言指令中的人类意图，积极主动探索周围环境，全面感知来自虚拟和物理环境的多模态元素，并执行适当的操作以完成复杂任务。多模态模型的快速进展展示了在复杂环境中相较于传统深度强化学习方法更强的多样性、灵活性和泛化能力。最先进的视觉编码器预训练的视觉表示提供了对物体类别、姿态和几何形状的精确估计，使具身模型能够全面感知复杂和动态的环境。强大的大语言模型使机器人更好地理解人类的语言指令并为具身机器人对齐视觉和语言表示提供了可行的方法。世界模型展示了显著的模拟能力和对物理定律的良好理解，使具身模型能够全面理解物理和真实环境。这些进展使具身智能体能够全面感知复杂环境，