A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU 论文解析

论文网址：https://arxiv.org/abs/2003.05212
论文出处：CVPR2020
研发团队：德国汉堡大学、清华大学团队
论文代码：https://github.com/Smilels/multimodal-translation-teleop
项目网址：https://smilels.github.io/multimodal-translation-teleop/
视频链接：https://www.youtube.com/watch?v=rAj2IWl2ezs&ab_channel=TAMSUHAM

1.概述

• 该研究提出了一种多模式的移动机器人手臂遥操作系统，该系统由一个新颖的基于视觉的手势回归网络（Transteleop）和一个基于IMU的手臂跟踪方法组成。
• Transteleop通过低成本的深度相机观察人的手，并通过图像到图像的转换过程，不仅生成关节角度，而且还生成配对的机器人手姿势的深度图像。基于关键点的重建损失探索了人类和机器人手在外观和解剖结构上的相似之处，并丰富了重建图像的局部特征。
• 穿戴式摄像机支架可实现同时的手臂控制，并促进整个远程操作系统的移动性。
• 测试数据集上的网络评估结果以及除简单的取放操作之外的各种复杂操作任务，显示了多模式遥操作系统的效率和稳定性。

2. 简介

• 机器人遥操作可应用于空间（space）、救援（rescue）、医疗手术（medical surgery）、模仿学习（imitation learning）。也是当需要快速决策（fast decisions）和处理极端情况（corner cases）下的首选智能编程方案。
• 遥操作拟人机械手进行灵巧抓取仍然具有挑战性。
• 无标记的基于视觉的遥操作具有成本低（low-cost），侵入性小（less invasive）的强大优势。
• 问题a：由于机械手和人手占据两个不同的领域，因此如何补偿它们之间的运动学差异在基于无标记视觉的遥操作中起着至关重要的作用。
• 解决方法a：提出了一种称为Transteleop的基于视觉的新型遥操作方法，该方法基于图像到图像的翻译方法提取配对的人和机器人手之间的连贯姿势特征。Transteleop将人手的深度图像作为输入，然后估计机器人手的关节角度，并生成机器人手的重建图像。本着监督学习的精神，为了增强从图像翻译结构中提取的特征的丰富性，研究人员设计了一个基于关键点的重建损失，以专注于手部关键点周围的局部重建质量。
• 问题b：远程操作员的手应停留在摄像机系统有限的视野范围内。这种限制阻碍了操作员完成需要广阔工作区域的操纵任务。
• 解决方法b：为了实现真正的移动式手臂遥控操作系统，研究人员开发了一种摄像机支架，将摄像机安装在人的手臂上。
• 论文的主要贡献：
  （1）为带有19自由度的Shadow手的PR2机械臂建立了一套多模态的hand-arm遥操作系统。
  （2）设计了一种基于视觉深度学习的方法：Transteleop。可以估计机械手的关节角，平衡人手与机械手运动学的差异。思想来源于image-to-image translation方法。
  （3）设计了一个摄像机云台（camera holder），使遥操作不仅限于固定空间。
  （4）3个操作者进行几个精细和灵巧的遥操作任务（subtle and dexterous tasks），验证了系统的可靠性。

3. Related Work