大模型时代的具身智能系列专题(二十四)

上交大卢策吾团队

上海交通大学计算机科学与工程系特别研究员，曾任上海期智研究院PI。入选2016年度海外高层次青年引进人才，2018年被《麻省理工科技评论》评选为中国35位35岁以下科技精英（MIT TR35），荣获2019年度“求是杰出青年学者奖”， 2020年获上海市科技进步特等奖(排名第三)。担任《Science》，《Nature Machine Intelligence》审稿人，曾担任CVM 2018程序主席，CVPR 2020，ICCV 2021，IROS 2021领域主席。主要从事计算机视觉与机器人研究，已取得多项突破性研究成果，开源了如人体姿态估计系统Alphapose（GitHub Star 5000+），HAKE（人体行为引擎），GraspNet（高性能机器人抓取系统）等拥有国际先进水平的开源人工智能框架和数据集。

主题相关作品

• RoboTube
• RISE
  模仿学习方面，穹彻智能联合上交大卢策吾教授团队提出了基于3D感知的真实世界机器人操控策略RISE，显著提升了机器人操控策略对物体位置以及相机视角变化的泛化能力。.RISE通过3D感知，能够有效地提取空间信息，并在多个机器人操作任务中取得了优于2D和3D基线方法的性能。并且，在不同物体位置、新工作空间和新相机视角下都表现出良好的泛化能力，增强了其在真实世界部署中的鲁棒性。
• RH20T
  为了降低规模化双臂数据采集的成本，上交大卢策吾教授团队联合上海AI Lab引入了低成本的外骨骼系统AirExo。
• AirExo
  AirExo旨在采集野外环境中的双臂操作数据，减少机器人操控策略对于遥操作数据的需求，使低成本规模化双臂数据采集成为可能。该系统使机器人仅通过3分钟的遥控演示和收集到的野外数据学习的效果，超越了从20多分钟遥控演示中的学习效果。
• CAGE
  为进一步提高人类示范数据的利用效率，上交大卢策吾教授团队联合上海AI Lab又提出了具有极强泛化性的操控策略CAGE。该策略能利用仅50条单平台单相机视角采集的数据，无需任何预训练，即可将技能迁移至不同机械臂、不同相机视角和背景环境中。CAGE能够使机器人实现更加高效且通用的模仿学习，为机器人操控策略在复杂多变的真实环境中的应用提供了有力支持。

RoboTube

建立了一个全新的机器人模仿学习基准平台RoboTube，用于从人类视频中模仿学习行为决策并迁移到真实机器人。该问题大规模评测一直是空白，为了实现这一目标，需要专门为机器人设计多样化、高质量的人类视频数据集。 为了评估其学习表现，建立了数字孪生仿真环境帮助机器人和人工智能研究人员在对真实机器人进行测试之前快速且有效地验证其算法。RoboTube 视频数据集包含 5000 个用多视角 RGB-D 相机录制的视频演示，这些视频演示了人类执行的日常家务任务，包括操纵刚性物体、铰接物体、可变形物体和双手操纵。 数字孪生仿真环境，由 3D 扫描的真实物体组成，最大限度地减少了物理世界和模拟环境之间的域差距。 作为本领域最新的基准平台，RoboTube 大大降低该领域研究者成本，有力推进了机器人模仿学习社区的可复现研究。

操作实例

视频数据概览