2024VALSE年度进展评述内容分享-面向具身智能的多模态感知与交互

2024年视觉与学习青年学者研讨会（VALSE 2024）于5月5日到7日在重庆悦来国际会议中心举行。本公众号将全方位地对会议的热点进行报道，方便广大读者跟踪和了解人工智能的前沿理论和技术。欢迎广大读者对文章进行关注、阅读和转发。文章是对报告人演讲内容的理解或转述，可能与报告人的原意有所不同，敬请读者理解；如报告人认为文章与自己报告的内容差别较大，可以联系公众号删除。

本文基于林倞教授的VALSE2024年度进展评述《面向具身智能的多模态感知与交互》，详细介绍了具身智能的研究背景、研究现状以及发展方向。

1 具身智能的研究背景

具身智能（Embodied Intelligence）是一种涉及将智能系统或机器人置于具有物理形态的环境中，使其能够通过与周围环境的物理交互来学习和执行任务的智能形式。这种智能形式强调智能体（如机器人）必须通过体验和探索其物理世界来获取知识和技能，而不仅仅是通过数据或被动观察来学习。具身智能是人工智能领域的前沿研究方向，受到国际顶级院校和研究机构的广泛关注。

1.1 具身智能的特点

(1) 感知与行动的统一：具身智能强调感知（观察）和行动（执行）之间的密切联系。智能体不仅要能感知其环境，还必须能够在其中有效地行动。

(2) 自主学习：与传统的由人类直接编程不同，具身智能的系统通过与环境的直接交互自主学习，从而适应并优化其行为。

(3) 环境交互：具身智能体通过物理方式与其环境互动，如通过触觉、力量反馈等方式获取信息，这是其智能行为的关键部分。

(4) 机器人和物理设备：具身智能通常与机器人技术紧密相关，涉及到使用机械臂、移动机器人或其他自动化机械。

1.2 具身智能的挑战

(1) 具身智能体需要对开放式环境进行高效感知。

(2) 具身智能体需要对任务进行全面理解和规划。

(3) 具身智能体需要进行精准动作控制操作物体。

基于具身智能的特点与挑战，目前具身智能体的整体框架包括中枢系统、感官系统、任务环境系统和机械系统四部分。感官系统采用开放式多模态环境主动感知机制，通过多模态学习积极探索，实现感知融合和零样本学习。任务环境系统以领域世界模型为基础，引导任务规划，通过世界模型完成任务的符号化、生成和规划，进而实现主动探索式交互。感官系统和任务环境系统的反馈传递到中枢系统，该系统由控制器组成，生成运动指令并传递给机械系统，实现机械响应。这四个系统相互协作，共同构成一个能够应对上述挑战的高级智能体。

2 研究现状

2.1 开放式多模态主动感知

面向复杂环境的多模态感知：融合并对齐多模态信息（如图像、文本、语言、触觉等），实现对复杂环境的鲁棒建模与精准感知。

开放式词汇引导的零样本视觉理解：深入挖掘视觉-语言大模型（VLM）先验知识，引入细粒度提示学习机制和3D跨模态信息协同机制，实现具身智能体的零样本精准识别能力。

具身智能体主动环境感知：进行主动式环境探索，与开放式环境进行密切交互，实现智能体持续性感知能力。

2.2 世界模型引导的任务规划决策

领域知识驱动的具身任务规划：引入丰富领域知识进行精准任务理解，融合具体场景视觉语义信息，自适应生成任务关联原子动作序列，进而高效完成复杂任务。

大模型驱动的复杂任务规划：研发适配各类领域任务的世界模型，实现复杂任务的自动化精细分解，生成可高效解决复杂任务的可执行动作序列。

融合因果推理的具身任务规划：引入多智能体因果推理协同机制，检验世界模型生成的任务规划是否合理，实现对低效或错误规划的自动校正。

2.3 智能体虚实迁移与行为控制

构建细粒度可编辑、可交互的平行数字空间：支撑具身智能体的高效训练。

具身能力虚实迁移：研发知识迁移、参数微调、自我反馈等虚实能力迁移算法，将来自虚实场景的具身能力迁移到实体机器人。

3 发展方向

具身智能将智能理论与物理形态结合的方法不仅能够推动机器人技术的进步，还可能改变我们对智能本质的理解和应用。林倞教授认为具身智能在未来的发展中，需要构建国产自主可控的具身智能生态体系。在模型角度，依托中国算力网和鹏城基础大模型，通过多传感器数据驱动和人类价值的引导，构建具备上下文推理能力与执行能力的具身感规控一体大模型。在数据集角度，构建同时涵盖服务和工业两大垂直领域，支持丰富应用场景的具身智能开源数据集：ARIO(ALL Robots In One)。

4 报告人简介

林倞教授是国家杰出青年基金获得者，Fellow of IAPR/IET，曾任商汤科技首席研发总监/研究院执行院长。长期从事多模态人工智能、机器学习等领域的研究。