COME-robot,这是首个利用GPT-4V视觉语言基础模型的闭环框架,用于在真实世界场景中进行开放式推理和适应性规划。
通过精心构建的行动原语库,COME-robot能够进行机器人探索、导航和操作,这些原语库作为GPT-4V在任务规划中可调用的执行模块。
GPT-4V作为智能核心,能够进行多模态推理,生成带有代码的动作策略,验证任务进度,并为重规划提供反馈。这种设计使得COME-robot能够主动感知环境,进行情境推理,并从失败中恢复。
通过8个具有挑战性的真实世界桌面和操作任务的全面实验,COME-robot在任务成功率上相比最先进的基线方法有约25%的显著提升。
项目:https://come-robot.github.io
申请试用名额