《RoCo: Dialectic Multi-Robot Collaboration with Large Language Models》论文阅读

打工的命

已于 2025-01-16 20:11:52 修改

阅读量920

点赞数 16

分类专栏：论文学习文章标签：论文笔记

于 2025-01-04 20:07:15 首次发布

本文链接：https://blog.csdn.net/qq_39206611/article/details/144908713

版权

论文学习专栏收录该内容

2 篇文章

订阅专栏

牛马的三年

一、摘要

提出了一个新颖的多机器人协作方法，该方法利用LLM进行通信和路径规划。机器人配备LLM进行讨论和推理任务策略，并生成子任务规划和任务空间路径点，并利用多臂规划器加速轨迹规划。同时，提示LLM智能体改进规划和路径点。

二、准备工作

2.1 任务假设

$N$ 个机器人的协作任务环境。有限的时间为 $T$ ，全观察空间为 $O$ 。每个机器人的索引值为 $n$ ，其具有观察空间 $\Omega ^ {n} \subset O$ 。智能体可能具有不对成的观察空间和观察能力，这强调了通信的必要性。

手动定义了描述函数 $f$ ，用于将任务语义和时间步长 $t$ 处的观察结构转换为自然语言提示： $l_{t}^{n}=f^{n}(g^{n}, o_{t}), o_{t} \in \Omega ^{n}$ 。

本文也定义了将LLM输出映射到相应子任务的解析函数中，该子任务可以由一个或多个抓取目标配置进行描述。

2.2 多臂路径规划

设 $\mathcal{X} \in \mathbb{R}^{d}$ 表示所有 $N$ 个机械臂的关节配置空间， $\mathcal{X}_{ob}$ 为配置空间的障碍区域，则无碰空间为 $\mathcal{X}_{free} = \mathcal{X} \setminus \mathcal{X}_{ob}$ 。给定初始条件 $x_{init} \in \mathcal{X}_{free}$ 和目标区域 $x_{goal} \in \mathcal{X}_{free}$ ，多臂运动规划涉及寻找最优的 $\sigma^{*}: [0, 1] \rightarrow \mathcal{X}$ ，并满足 $\sigma^{*}(0)=x_{init}, \sigma^{*}(1) \in x_{goal}$ 。我们假设得到的 $\sigma^{*}$ 被用于机械臂的基于位置的关节控制器用于开环执行。

三、基于LLM的多机器人协作

3.1 通过LLM的多智能体对话

我们假设多智能体任务环境具有不对称的观察空间和技能能力，这需要沟通才能进行有意义的协调。

在每次环境交互之前，我们设置一轮对话，其中每个机器人都被委托给一个 LLM 代理，该代理接收特定于代理的信息并严格根据其角色进行响应。

我们假设多智能体任务环境具有不对称的观察空间和技能能力，这需要沟通才能进行有意义的协调。在每次调用PromptDialogs期间，每个代理在到达动作规划之前至少说一次；每次调用GiveFeedback之后，提出的规划通过一组验证检查，并可选地产生文本反馈，用于下一轮。最终的规划由MotionPlanner生成机器人运动轨迹。

3.2 LLM生成的子任务规划

一旦一轮对话结束，最后一个发言的Agent就会总结一个“子任务计划”，其中每个智能体都会获得一个子任务，并且可以选择任务空间中的3D路径点。

文本分析，确保规划遵守所需的格式，并包含所有需要的关键字
任务约束，检查每个动作是否符合任务和智能体约束
逆运动学，通过逆运动学检查每个机械臂的目标姿态是否可行
碰撞检查，检查通过IK求解的机械臂连接配置是否导致碰撞
有效的路径点，如果任务需要路径规划，则每个中间路线点必须是IK可解并且五重午，并且所有步骤应均匀分布

3.3 基于LLM的关节空间运动规划

一旦子任务通过所有验证，本文就使用IK在所有机械臂上联合生成目标配置，每一步都会生成中间配置

目标配置被传递到基于RRT的多臂运动规划器中，该规划器输出每个机器人的运动轨迹，并在环境中执行。

4. RoCoBench: 多机器人协作验证平台

RoCoBtch是一套由6个多机器人协作任务组成的桌面操作环境。这些任务涉及LLM容易理解的常见家用对象，并跨越需要不同机器人通信和协调行为的一系列协作场景。

任务分解：任务是否可以分解成可以并行完成或按一定顺序完成的子部分。RoCoBitch中的三个任务具有顺序性质(例如，制作三明治要求食品按正确的顺序堆放)，而其他三个任务可以并行执行(例如，包装杂货店中的物品可以按任何顺序放入垃圾箱)。
观测空间：每个机器人代理接收多少任务和环境信息。三个任务提供对任务工作空间的共享观察，而其他三个任务则具有更不对称的设置，机器人必须互相询问以交换知识。
工作空间重叠：操作机器人之间的接近度；我们将每个任务从低、中、高进行排名，其中较高的重叠要求更仔细的低级协调（例如，移动绳索需要一起操纵同一对象）。