AnyTeleop：基于视觉的通用灵巧机械臂遥操作系统

23年7月来自UCSD和Nvidia的论文“AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System”。

基于视觉的远程操作，提供了赋予机器人人类水平的智能以与环境进行物理交互的可能性，同时只需要低成本的相机传感器。然而，当前基于视觉的远程操作系统，是针对特定的机器人模型和部署环境进行设计和制造的，随着机器人模型池的扩大和操作环境的多样性增加，其扩展性不好。本文提出 AnyTeleop，一个统一的通用远程操作系统，可在单个系统内支持多种不同的手臂、手、现实和相机配置。尽管系统旨在为模拟器和真实硬件的选择提供极大的灵活性，但它仍然可以实现出色的性能。对于现实世界的实验，AnyTeleop 可以胜过以前为特定机器人硬件设计的系统，使用相同的机器人，成功率更高。对于模拟中的远程操作，与以前专门为该模拟器设计的系统相比，AnyTeleop 可以带来更好的模仿学习性能。

与基于夹持器的机械手相比，远程操作灵巧手臂系统带来了前所未有的挑战，并且通常需要成本高昂且设置繁琐的专用设备，例如虚拟现实 (VR) 设备 [4, 17, 15]、可穿戴手套 [29, 30]、手持控制器 [47, 48, 20]、触觉传感器 [12, 23, 52, 55] 或动作捕捉追踪器 [68]。

基于视觉的遥操作系统存在几个问题。首先，这种系统通常是针对特定的机器人模型或部署环境设计和制造的。其次，每个系统都是与一个特定的“现实”相结合而创建的，这个“现实”要么仅在现实世界中，要么通过特定的模拟器选择。例如，HAPTIX [23] 动作捕捉系统仅为基于 MuJoCo 的环境中 [58] 的遥操作而开发。为了便于通过模拟收集大规模数据以及缩小模拟与现实之间的差距，需要遥操作系统既能在虚拟世界（任意选择模拟器）中运行，也能在现实世界中运行。最后，现有的遥操作系统通常是针对单操作员和单机器人设置量身定制的。为了教会机器人如何与其他机器人智体以及人类协作，遥操作系统应设计为支持多个驾驶员-机器人伙伴，使机器人可以在共享环境中相互进行物理交互。

如图所示 AnyTeleop，是一种基于视觉的远程操作系统，适用于各种场景，可解决各种操作任务。AnyTeleop 可用于各种机械臂和不同的机械手。它还支持不同现实中的远程操作，例如 IsaacGym（上）、SAPIEN 模拟器（中）和现实世界（下）。

如图所示在独立和协作环境下基于视觉的远程操作系统范例。该系统应支持虚拟或现实世界中存在的任何手臂模型，能够以灵活的摄像头配置进行操作，为本地或远程存在提供视觉反馈，并支持在共享空间中驾驶多个机器人。

如下表所示是基于视觉的遥操作系统之间比较。将 AnyTeleop 的功能与多指灵巧机器人的相关视觉遥操作系统进行比较。“无臂”表示该系统只能控制手部运动，而不能控制臂-手系统。

遥操作系统的架构包括四个组件如图所示：（i）摄像头驱动程序，以 RGB 或 RGB-D 格式捕捉人体手部姿势；（ii）传送服务器，是系统中的核心组件，执行手部姿势检测并将检测结果转换为机器人控制命令；（iii）遥控机器人，可以是真实的机器人，也可以是虚拟环境中的模拟机器人；（iv）网络可视化工具，可通过互联网实现远程可视化。

该系统的设计遵循三个关键原则：模块化、聚焦通信和容器化。模块化是通过为每个子组件实现明确定义的输入输出接口来实现的，从而可以广泛应用于不同的机械臂、灵巧手、摄像机和现实。聚焦通信的设计允许远程和协作遥操作，并通过在强大的服务器上部署大量计算来减少操作员端的计算要求。最后，与其他具有严重软件依赖性的机器人系统相比，容器化设计使安装和部署更容易。

远程操作服务器利用来自一个或多个摄像机的 RGB 或 RGB-D 数据，为机械臂和灵巧手生成平滑且无碰撞的控制命令。它由四个模块组成：（i）手势检测模块，根据摄像机流预测手腕和手指的姿势，（ii）检测融合模块，整合来自多个摄像机的结果，（iii）手势重定向模块，将人手姿势映射到灵巧的机械手，以及（iv）运动生成模块，为机械臂产生高频控制信号。为所有四个模块定义了标准化的软件接口，以促进 AnyTeleop 的灵活性和通用性。

为了更好地支持远程操作任务，开发一个基于 Web 的可视化模块，促进远程和协作远程操作，特别是对于模拟环境中的远程操作。它具有以下特点：（i）基于浏览器的查看器，可轻松远程访问；（ii）同步可视化，即从事同一协作任务的两个操作员应该从他们自己的本地视口同步看到同一场景。该查看器是基于 meshcat [10] 库开发的，并使用 Three.js [9] 进行渲染。可视化服务器在每次模拟迭代后将模拟结果移植到浏览器上。操作员可以从浏览器窗口获得视觉反馈，并移动他们的手来控制相应的机器人。

如图所示：AnyTeleop的机器人遥操作任务例子十个

如图所示协作远程操作系统的架构。即使操作员不在同一物理位置，系统也可以扩展到协作操作任务。每个操作员都可以使用带摄像头的本地计算机来检测手势并将检测结果发送到中央服务器。同时，他们可以使用网络浏览器可视化当前的模拟环境，包括由其他操作员控制的机器人。