基础模型推动具身机器人操作

ref：A Survey on Robotics with Foundation Models: toward Embodied AI

基础模型具备学习多任务并同步做出精细化决策的能力，值得注意的是，最新进展已将二者深度融合，通过训练大型机器人基础模型实现规划与控制的协同处理，就像大脑和小脑的合作一样，显著增强了推理和执行能力，以少量或零样本的方式处理复杂和长期的任务。通过基础模型实现自主机器人操作挑战的研究，主要有两大核心方向：1) 高级规划：该方向通过解析用户自然语言指令和环境交互数据，实现分步决策过程。基础模型凭借底层世界知识，可完成指令解析、环境感知及复杂任务推理；2) 低级控制：专注于执行指令的同时实时监测环境与机器人状态，最终确定机械臂末端执行器位置、关节活动角度等精确操作参数。

仅凭简单指令训练单一策略模型完成完整任务仍具挑战，模型不仅需要掌握多项技能，还需理解各技能间的执行顺序，使得训练过程本身变得异常复杂。鉴于视觉与语言基础模型在复杂推理和上下文泛化方面展现的强大能力，机器人学界探索将基础模型应用于解决这些难题可谓顺理成章。

除了利用基础模型的分解与规划能力帮助机器人完成复杂长期任务的高级规划外，还通过语言和视觉基础模型的识别、推理及泛化能力来生成精准的底层控制。此外，采用互联网规模数据训练基础模型也为机器人基础模型的训练开辟了新路径。

计算机视觉和自然语言处理领域基础模型的发展之所以取得显著成就，很大程度上得益于大规模数据集的应用。同理，要大幅提升具身人工智能的能力，关键在于扩大机器人数据集的规模——这是推动该领域重大突破的必经之路。具身人工智能的数据集更关注现实环境中三维信息、物体功能特性以及机器人与物体间的交互关系，这些都基于真实物理定律的约束条件。