斯坦福大学为机器人操作模仿学习设计了示教新范式

近期斯坦福大学提出了通用操纵界面（UMI）–一种数据收集和策略学习框架，可将人类演示的技能直接转移到可部署的机器人策略中。

https://umi-gripper.github.io/

UMI 采用手持式抓手和精心的界面设计，可为具有挑战性的双臂和动态操纵演示提供便携式、低成本和信息丰富的数据收集。为促进可部署的策略学习，UMI 采用了精心设计的策略界面，具有推理时间延迟匹配和相对轨迹动作表示功能。学习到的策略与硬件无关，可在多个机器人平台上部署。有了这些功能，UMI 框架就能释放新的机器人操纵能力，只需改变每个任务的训练数据，就能实现零样本通用动态、双臂、精确和长序列行为。通过全面的真实世界实验证明了 UMI 的多功能性和有效性，在这些实验中，通过 UMI 零样本学习到的策略在不同的人类演示训练中可泛化到新的环境和物体。

硬件设计

如何才能仅凭一个安装在手腕上的摄像头就能为各种任务捕捉到足够的信息？UMI 的数据收集硬件采用了手持式平行钳夹的形式，并安装了 GoPro 摄像机①。为了收集可用于政策部署的观测数据，UMI 需要捕捉足够的视觉背景来推断动作②和深度③等关键信息。为了获取可部署策略的动作数据，UMI 需要捕捉人类快速运动下的精确机器人动作④、抓取宽度的微调⑤，并自动检查每个演示在特定的机器人运动学约束条件⑥下是否有效。

策略稳健性

UMI 采用独特的腕式摄像头设置和以摄像头为中心的动作表示法，100% 无需校准（即使在基础移动的情况下也能正常工作），并且能够抵御干扰因素和光线的剧烈变化。

能力测试

(1) 动态抛掷