基于视觉和惯性传感器的移动机器人手遥操作系统

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

论文：A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU

相关视频、代码、论文地址：在公众号「计算机视觉工坊」，后台回复「视觉和惯性传感器」，即可直接下载。

该研究提出了一种多模式移动遥操作系统，该系统由一个新颖的基于视觉的手势回归网络（Transteleop）和一个基于IMU的手臂跟踪方法组成。Transteleop通过低成本的深度相机观察人的手，并通过图像到图像的转换过程，不仅生成关节角度，而且还生成配对的机器人手姿势的深度图像。基于关键点的重建损失探索了人类和机器人手在外观和解剖结构上的相似之处，并丰富了重建图像的局部特征。穿戴式摄像机支架可实现同时的手臂控制，并促进整个远程操作系统的移动性。测试数据集上的网络评估结果以及除简单的取放操作之外的各种复杂操作任务，显示了多模式遥操作系统的效率和稳定性。

1.研究问题

拟人化机械手的遥操作以执行灵巧操作仍是挑战。无标记的基于视觉的遥操作具有成本低，侵入性小的强大优势。

问题a：由于机器人手和人手占据两个不同的领域，因此如何补偿它们之间的运动学差异在基于无标记视觉的遥操作中起着至关重要的作用。

问题b：远程操作员的手应停留在摄像机系统有限的视野范围内。这种限制阻碍了操作员完成需要广阔工作区域的操纵任务。

2.解决方法

解决方法a：提出了一种称为Transteleop的基于视觉的新型遥操作方法，该方法基于图像到图像的翻译方法提取配对的人和机器人手之间的连贯姿势特征。Transteleop将人手的深度图像作为输入，然后估计机器人手的关节角度，并生成机器人手的重建图像。本着监督学习的精神，为了增强从图像翻译结构中提取的特征的丰富性，研究人员设计了一个基于关键点的重建损失，以专注于手部关键点周围的局部重建质量。

解决方法b：为了实现真正的移动式手臂遥控操作系统，研究人员开发了一种摄像机支架，将摄像机安装在人的手臂上。

3.研究目标

建立一个移动机器人手臂远程操作系统，其中远程操作员可以在无限的工作空间中进行自然的手部动作以完成一系列操作任务。为了建立这样的系统，研究人员制定了一种新颖的基于视觉的方法来对拟人化的手进行遥控操作，并利用基于IMU的设备来同时控制手臂。假设IH是人类的图像，展示了通过深度相机观察到的操作任务的手部姿势。视觉部分旨在训