成功率高达95% 卡内基梅隆大学采用全堆栈方法 在开放非结构化环境下教机器人开门

如何在家庭开放式的非结构化环境中部署机器人一直是一个相对棘手的问题。目前绝大多数，机器人研究主要局限于封闭式实验室环境，移动操作工作仅限于选择-移动的位置，对于机器人来讲只是冰山一角。

为此，卡内基梅隆大学开发了一套开放世界的移动操作系统，这是一种全堆栈的方法来处理现实的铰接对象操作。例如：现实世界的门、橱柜、抽屉和冰箱。该机器人利用一个自适应学习框架，首先通过行为克隆从一组小数据中学习，然后从在线实践中学习不在训练分布之外的新对象。为此研发人员还开发了一个低成本的移动操作硬件平台，能够在非结构化环境中安全、自主地在线适应，成本约为25000美元。

在实际测试当中，研究人员在卡内基梅隆大学校园的4栋建筑中使用了20个清晰的物体。对于每个对象进行不到一个小时的在线学习，该系统能够通过在线适应将成功率从BC预训练的50%提高到95%。

▍实验平台的选择

桌面操作向移动操作的转变不仅对算法研究提出了挑战，同时也在硬件层面上进行了挑战。在这个项目中，研究团队提出了一种简洁且直观的方案，构建了一个适用于移动操作的硬件平台。这个平台兼顾多功能和敏捷性并拥有可负载性和快速原型化特征。

最终团队使用了来自AgileX的Ranger Mini 2机器人，这款机器人采用xArm机械臂进行操作，最高有效载荷为5公斤，该系统使用NVIDIA Jetson嵌入式芯片来支持传感器、底座、手臂以及承载大型模型的服务器之间的实时通信。

视觉系统采用的是英特尔D435深度相机来实现来收集RGBD图像，同时配合英特尔实感追踪摄像头T265来提供视觉测程法。机械臂的夹具采用3D打印材料制作而成，整个系统的总成本约为25000美元，使其成为大多数机器人实验室可负担得起的解决方案。

▍测试结果

研究人员在卡内基梅隆大学校园的四个不同的建筑上进行了广泛的实地研究，包括12个训练对象和8个测试对象，以测试全堆栈系统的有效性。

研究显示，基于该系统的机器人能够在很少的在线样本中进行学习，它使用了一个高度结构化的动作空间，它包括一个参数的抓取原语和一系列参数约束的移动操作原语。通过在一些训练对象上的演示数据集，进一步构建了探索空间。

使用次方法能够在CMU校园的建筑中的4个不同的物体类别中选择的8个看不见的物体，从而让机器人操作的成功率从50%提升到95%，此外该系统还可以再不需要人工干预的情况下学习使用视觉语言模型的奖励。