VoxPoser: 采用语言模型实现机器人操作的可组合3D价值图

23年7月份来自斯坦福和UIUC的论文“VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models“。

语言是一种压缩的媒介，人类通过它提炼和交流他们对世界的知识和经验。大型语言模型（LLM）已成为捕捉这种抽象方式的一种很有前途的方法，通过投影到语言空间来学习表示世界[1-4]。虽然这些模型被认为将可归纳的知识内化为文本形式，但如何使用这种可归纳的信息使具身智体在现实世界中行动，仍然是一个问题。

研究机器人动作中抽象语言指令（例如“设置表格”）的落地问题[5]。先前的工作利用词汇分析来解析指令[6-8]，而最近的语言模型被用于将指令分解为一个文字序列的步骤[9-11]。然而，为了实现与环境的物理交互，现有的方法通常依赖于可以由一个LLM或一个规划者调用、通过手动设计或预训练的运动基元（即技能）集，并且由于缺乏大规模机器人数据，这种对单独技能获取的依赖通常被认为是系统的主要瓶颈。那么问题来了：我们如何才能在机器人的精细动作层面上利用LLM的丰富内部知识，而不需要费力的数据收集或对每个基元进行手动设计？

在应对这一挑战时，首先，LLM直接在文本中输出控制动作是不可行的，文本通常由高维空间的高频控制信号驱动。然而，发现LLM擅长推断以语言为条件的可见性和约束，并且利用代码编写能力，通过编排感知调用（例如CLIP[12]或开放词汇检测器[13-15]）和阵列操作（例如NumPy[16]），可以组成落在视觉空间的密集3-D体素图。例如，如果给出“打开最上面的抽屉并小心花瓶”的指令，LLM可以被提示去推断：1）应该抓住最上面的把手，2）把手需要向外拉，3）机器人应该远离花瓶。虽然这些内容以文本形式表示，LLM可以生成Python代码来调用感知API来获得相关目标或部件的空间几何信息（例如，“把手”），然后对3D体素操纵来规定观察空间中相关位置的奖励或成本值（例如，把手的目标位置被分配高值，而花瓶的周围被分配低值）。最后，合成的价值图可以用作运动规划器的目标函数，直接合成实现给定指令的机器人轨迹，而不需要每个任务或LLM额外的训练数据。

提出的方法称为VoxPoser，这是一种从LLM中提取可见性和约束的公式，用于在3D观察空间中组成体素价值图，引导机器人与环境交互。特别地，该方法利用LLM来构成生成机器人轨迹的关键面，而不是试图在数量或可变性有限的机器人数据进行策略训练，以零样本的方式有效地实现开放集指令的泛化。将其集成到基于模型的规划框架中，通过对外部扰动具有鲁棒性的模型预测控制（MPC），演示出执行的闭环。进一步展示VoxPoser如何从有限的在线互动中受益，有效地学习涉及丰富接触互动的动力学模型。

如图是VoxPoser从LLM中提取语言为条件的可见性和约束，通过代码接口并且无需对任何一方进行额外训练，用视觉语言模型（VLM）落地部署于感知空间。组成图称为 3D 价值图，可以通过一组开放的指令和一组开放的目标，为各种日常操作任务进行零样本的轨迹合成。

如图为VoxPoser概述。给定环境的RGB-D观测数据和语言指令，LLM生成代码，与视觉语言模型（VLM）交互，生成一系列基于机器人观察空间的3D可见性图和约束图（统称为价值图）（a）。然后，组合的价值图用作运动规划器的目标函数，合成机器人操作的轨迹（b）。整个过程不涉及任何额外的训练。

如图是现实环境中可视化组合的 3D 价值图和部署。最顶行演示“感兴趣的实体”是目标或部件的位置，价值图将其引导至目标位置。底部两行展示了“感兴趣的实体”作为机器人末端执行器的任务。这样最底层的任务涉及两个阶段，这两个阶段也由LLM编排。

相关工作回顾：

落地实施语言说明。语言落地实施在智体[19-22]和机器人[23，6，24，25，5，7，26]方面都得到了广泛的研究，其中语言可以用作组成目标（goal）规范的工具[5，27-33]，用于训练多模态表示的语义锚点[12，34，35]，或者用作规划和推理的中间基底[36-38，9，10，39，40]。先前的工作着眼于经典工具，如词汇分析、形式逻辑和图模型来解释语言指令[27，7，6，26]。最近，端到端方法已被成功应用于离线领域[41-43，1]，从有语言标注的数据中学习，模型学习[44]、模仿学习[45，46，30，47-54]到强化学习[55-57]，已在机器人交互中直接地让语言指令落地。与该工作最密切相关的是Sharma[50]，其中监督学习优化端到端成本预测器，将语言指令映射到2D成本图，用于引导运动规划器以无碰撞的方式生成首选轨迹。相比之下，该文依靠预训练的语言模型来获取开放世界知识，并在3D空间中处理更具挑战性的机器人操作。

机器人语言模型。利用预训练的语言模型进行实施应用是一个活跃的研究领域，其中大量工作集中在语言模型进行规划和推理[9-11，58，31，39，59–72，36，73]。为了允许语言模型感知物理环境，可以给出场景的文本描述[39，11，59]或感知API[74]，视觉可以在解码过程中使用[67]，也可以直接作为多模态语言模型的输入[68，2]。除了感知，为了真正搭建感知-动作闭环，一个具身语言模型还必须知道如何行动，这通常是通过预定义原语（primitives）库来实现的。Liang[74]表明LLM表现出的行为常识可用于低级控制。尽管出现了有希望的迹象，但仍然需要手工设计的运动基元，尽管LLM被证明能够组合序贯策略逻辑，但组合是否可以在空间级别发生仍不清楚。一系列相关工作也探索了在奖励设计[75]、强化学习[76-79]和人类偏好学习[80]的背景下使用LLM进行奖励规范。相反，本文专注于将LLM产生的奖励建立在机器人的3D观察空间中，这对操纵任务最有用。

基于学习的轨迹优化。许多工作已经探索了基于学习的方法进行轨迹优化。虽然文献众多，但可以大致分为学习模型[81-89]和学习成本/回报或约束[90-93，50，94]，其中数据通常是从域内交互中收集的。为了能够在野外进行泛化，一系列平行的工作探索了从大规模离线数据[95-97，35，34，44，98，99，54]中学习任务规范，特别是自我车辆为中心的视频[100101]，或者利用预训练的基础模型[102-104，33105106]。然后，通过强化学习[10219107]、模仿学习[97,96]或轨迹优化[95,35]所学习的成本函数来生成机器人动作。这项工作利用LLM进行野外成本规范，不需要域内交互数据，并且具有更好的泛化能力。与之前利用基础模型的工作相比，通过实时视觉反馈将成本直接落地在3D观测空间中，这使VoxPoser适用于执行稳健的闭环MPC。