具身智能体的异构协同清华大学与北京邮电大学最新研究成果：随遇协同与人机协同...

来源： 机器人大讲堂

在具身智能领域，多智能体协同已逐渐成为学术界与工业界研究的焦点。与同构机器人相比，异构多智能体协同强调具有不同能力、形态的异构智能体构成合作团队，因而可以通过更高效和灵活的协作方式，完成更为复杂的任务。近日，清华大学与北京邮电大学科研团队，围绕异构多智能体具身协同中的随遇协同与人机协同任务分别开展了研究。这两项研究工作既研究了不同形态功能的机器人构成的团队，也探讨了人作为具身智能体与机器人的协作。

其中，异构多机器人随遇协同聚焦研究如何使得一个Ad Hoc（随遇）智能体能够在任意时刻、任意位置，顺利融入任意团队并展开高效默契协同。为此，研究人员利用大语言模型构建了一个层次化动作规划模型，并利用包括宇树四足机器人、松灵小机器人、云迹移动机器人等异构机器人实现了物理验证（见图1）。另一方面，构建了人机协同框架HumanTHOR，该框架使人类可以通过虚拟现实设备在虚拟3D环境中行与机器人协同工作，并进而解决人机信任、共享心智模型等问题（见图2）。两项研究成果均发表于RSS 2024。

- Leveraging Large Language Model for Heterogeneous Ad Hoc Teamwork Collaboration:

https://arxiv.org/abs/2406.12224

https://www.youtube.com/watch?v=wHYP5T2WIp0&feature=youtu.be

- Demonstrating HumanTHOR: A Simulation Platform and Benchmark for Human-Robot Collaboration in a Shared Workspace:

https://arxiv.org/abs/2406.06498

https://sites.google.com/view/humanthor/

        

     图1 异构机器人平台及物理环境

                  

图2 HumanTHOR人机协同框架

▍异构多机器人随遇协同

当融入一个陌生团队时，我们往往需要综合考虑很多信息才能最终决定如何与团队协同。就如同在足球场与陌生人组队参与比赛，需要根据观察和沟通迅速了解队友，确定自己在团队中的位置以及承担的任务，以更好地与团队协同并完成进球。具体而言，Ad Hoc机器人需要在没有事先协调的情况下在任意时刻、任意位置与任意未知团队合作，采用恰当的协同策略以提高整个团队的效率（见图3）。为了解决这个问题，研究人员利用大语言模型（LLM）的推理和规划能力，构建了一个非中心化异构随遇协同框架，可为Ad Hoc机器人与异构队友的有效协同生成策略（见视频1）。

图3 异构多机器人随遇协同示意图

视频1 随遇协同系统示意        

具体地，研究人员构建了一个无需训练的层次化动作规划模型（IRoT-LLM），该模型使用LLM以及新提出的“基于交互反馈的思维机制”（IRoT）为Ad Hoc智能体生成动作策略，使Ad Hoc机器人能够适应不同团队（见图4）。IRoT-LLM 是一种基于大语言模型的专门为异构多机器人随遇协同问题设计的机器人决策框架。该模型框架由视觉感知模块、通信模块、层次化规划模块以及状态评估模块组成。其中，层次化规划模块利用大语言模型在推理与规划上的能力，考虑Ad Hoc智能体与现有队友之间的通信信息，为其规划需要执行的子任务以及子技能。该模型框架不需要训练，可以适用于任何团队。

图4 IRoT-LLM模型

研究人员还构建了一个基准测试数据集，在房间整理任务中评估所提出的异构随遇协同框架。大量对比实验与消融实验显示出IRoT-LLM 模型在多方面的优秀性能，验证了所提出异构随遇协同框架的有效性。实验结果表明：IRoT-LLM模型可以明显提高采用不同策略的团队完成任务的成功率和效率；基于该模型的Ad Hoc智能体在不同时间加入已有团队后，均能提升整个团队的表现；在与不同团队合作时，该模型表现优于其他Ad Hoc智能体决策方法。特别地，研究人员在真实环境下进行了实验，结果表明所提出的模型框架能够适用于真实环境下异构多机器人之间的随遇协同场景（见视频2）。   

视频2 物理验证

▍人机协同框架与基准

共享工作空间中的人机协同（HRC）正越来越多的应用于现实物理世界。然而，大多数现有“人在环路”（Human-in-the-loop, HITL）或人机共享工作空间协同的研究都是在简化的游戏环境或特定物理平台中进行的，导致其在实际应用与可扩展性上存在很大的局限性。为此，研究人员构建了一个名为HumanTHOR的人机协同框架。在该框架中，人类通过虚拟现实设备在仿真环境中与机器人一起协同完成指定任务，该工作可为共享工作空间中的人机协同研究工作提供支持。

为了验证该系统，研究人员还构建了一个日常任务基准，并针对两个基线算法进行了初步用户体验研究。结果表明，机器人可以有效地协助人类完成任务；不同基线算法之间的比较也验证了该系统可有效评估机器人的能力，为机器人算法研究提供参考基准。如图5所示，HumanTHOR框架可支持人与多个具有不同能力不同属性的异构机器人协同合作（例如：机器人可以具有不同的外观和尺寸，具有操作能力、移动能力等）；机器人算法可通过系统提供的Python接口接入，实现对机器人的控制。总的来说，本研究所提出的HumanTHOR框架可为共享工作空间中的人机协同研究提供良好的平台与基准支持。

   

图5 人与异构机器人团队合作执行多目标移动操作任务的案例。该案例中的任务为将3个苹果拿到桌子上，任务执行过程中，人类独立找到一个苹果，不具有操作能力的机器人向人汇报了线索并由人去操作，具有操作能力的机器人则独立拿回一个苹果。

所提出的HumanTHOR人机协同框架适用于研究各种不同层次的人机协作任务，可用于评估机器人算法和人机协作方面的研究。研究人员以图6所示的分层方式建模基准结构，从基本任务到复合的日常任务（例如：视觉语言导航、房间布置与整理等）。在具体任务的基础上，HumanTHOR 框架还可以进一步支持心智理论、人类信任建模等科学问题的研究。

图6 HumanTHOR框架支持多层次的基准设计

         

▍结语与未来：   

随遇协同和人机协同是异构多智能体具身协同中两个极为重要的问题，可显著提升任务适用性、工作效率与系统容错能力。期待未来针对随遇协同与人机协同的研究将被扩展到更一般的开放环境，在智能制造、仓储物流、家庭服务等实际应用场景中发挥重要作用。   

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”