Franka Research 3 机械臂组合约束协作探索——基于RoboFactory基准测试评估验证

本文链接：https://blog.csdn.net/Hinyeung2021/article/details/147902407

前言

机器人技术迅猛发展，多智能体协作系统在工业制造、服务、救援等领域潜力巨大。但多智能体系统因智能体间协作及与环境的交互，策略开发及验证复杂度高，面临两大难题：

1、数据收集处理低效，传统人工标注或手动设计场景方式耗时费力且难以覆盖所有协作场景；

2、策略评估复杂，需综合考量多智能体行为与交互；

针对上述难题，本文以Franka Research 3机械臂为载体，借助集成多种先进算法与工具、支持全流程自动化的RoboFactory框架，成功解决了多智能体系统策略开发中的数据收集与评估难题。

我们作为Franka机器人的授权商

为用户提供高效的解决方案

如有产品购买需求请联系：ming@bft-robot.com

技术框架与核心参数

Franka Research 3机械臂

设计特点：7自由度设计，配备Franka末端执行夹爪，支持多种传感器配置。

RoboFactory框架

基础平台：建立在开源的机器人仿真平台ManiSkill模拟器之上。
核心模块：
RoboBrain：负责智能体行为规划和控制的核心模块，生成子目标和轨迹序列。
RoboChecker：制定智能体的行为符合预设的安全和协作标准，构建约束接口并检查约束违反情况。

策略开发全流程

任务内容：

多机协作竟能这么玩？！

如图1所示，在执行“抓取牛排并协同4个实体代理（a₁、a₂、a₃、a₄）操控相机完成拍摄”任务时，各代理需突破单任务局限，通过动态协同实现整体目标：a₁精准抓取牛排，a₂与a₃协作抬升相机，a₄负责触发快门。为保障协作安全高效，本文引入组合约束机制，通过逻辑约束规避如a₃误触镜头等不当交互，利用空间约束避免a₂与a₃执行轨迹冲突引发碰撞，并借助时间约束消除a₁因等待其他代理完成非冲突操作而产生的无效停滞，从而构建起多智能体安全高效协作体系。

框架构建

RoboFactory框架，该框架包含两个核心模块：

RoboBrain：负责生成子目标和轨迹序列
RoboChecker：负责构建约束接口并检查约束违反情况

输入处理

接收RGB观测值、、全局文本指令、先前子目标集及约束违规反馈，输入至RoboBrain中的VLM模型（如GPT-4o）。

策略生成

任务分解（子目标序列）：VLM模型将复杂任务分解为子目标序列。
轨迹规划：生成轨迹序列

公式表示为：Gnext, C=FVLM (0, Gglobal, Gpre, f pre)

图2:RoboFactory概述。给定全局任务描述、先验信息和观察结果,RoboBrain为每个代理生成下一个子目标,并输出文本组合约束。然后,它为每个代理生成无约束的轨迹序列,以实现相应的子目标,调用预定义的运动图元。RoboChecker基于文本组合约束和当前多智能体状态构建相应的约束接口。它检查代理在执行生成的轨迹时是否违反了任何约束。该框架通过将抽象文本约束转换为可以通过构建约束接口与代理行为交互的表示,确保为多体现代理生成安全高效的协作数据。