飞行机器人专栏（十六）-- 双臂机器人体感交互式控制

目录

1. 概要

2. 整体架构流程

3. 控制系统设计

3.1 Vision-based Human-Robot Interaction Control

3.2 Human Motion Estimation Approach

4. 实现方法及实验验证

4.1 System Implementation

4.2  Experimental Setup

4.3 Experimental Results

5. 小结

---

​​​​​​​

1. 概要

     利用新型仿人双臂空中机械手实现更自然、更拟人化的作业交互，实现混合智能遥操作控制，仍然是一个亟待解决的问题。针对我们设计的新型空中双手机械手，提出了一种基于视觉的直观控制策略，重点是增强人机交互（HRI）和基于视觉的遥操作。这种创新的HRI控制策略近似于人类操作员的运动意图和机械手定位之间的复杂非线性映射函数。此外，使用KF算法融合了来自多个Kinect DK单元的鲁棒全身3D骨架跟踪，为空中机械手的遥操作控制服务。采用这种控制系统，双臂空中机械手可以与人类合作，灵活高效地执行双手任务。实验结果证明了所提出的基于视觉的骨架跟踪方法在航空机械手遥操作控制中促进人机协作交互的充分性和准确性。

    最近，与环境进行物理交互的拟人化空中操纵器引起了学术界和工业界的极大兴趣。将拟人化操纵器与无人机集成在一起，使空中机器人能够与环境和物体进行交互，应用范围包括电力线基础设施检查[6]、建筑工地协助[7]、基于接触的安装[8]等。这些系统为人类执行具有挑战性或危险性的任务提供了灵活和动态的解决方案，特别是在难以到达或封闭的空间中。然而，在研究类人拟人化航空机械手技术及其应用时，复杂的动态配置和与环境的物理交互所带来的协调控制挑战是开发和应用的重要制约因素。因此，研究可以在这些复杂的动态航空机器人系统中快速部署的人在环控制策略，以实现高效和精确的操作，具有重大的研究和应用价值。
   基于视觉的人机混合遥操作是一种人机交互系统，允许操作员通过视觉反馈控制远程机器人[9]。随着计算机视觉和人工智能技术的快速发展，基于视觉的遥操作技术近年来得到了广泛的关注和应用。已经进行了几项研究，以引入类人行为来提高人机协作任务的性能。Meng等人[5]提出了一种接触力控制框架来解决这个问题，其中使用逆动力学方法设计接触力控制器，并采用姿态前馈方法来提高力跟踪性能。开发了创新的航空机械手原型并进行了飞行实验，验证了提出的框架。此外，Sampedro等人[10]、Liang等人[3]、Malczyk等人[4]还研究了基于图像的视觉伺服与环境物理交互的相关方向以及航空机械手的接触力控制策略。在[11]和[12]中，来自不同运动捕捉系统的2D或3D骨架数据已被用于提高人体姿势跟踪性能。Liang等人[13]、Su等人[14]也研究了用于类人行为模仿的深度学习网络方法，以提高人机交互（HRI）的质量。
     从现有的研究来看，基于视觉的人机混合遥操作在航空机器人系统中的研究很少，其中大部分是近年来开始的。我们提出了一种混合人机交互（HRI）控制系统来解决上述挑战。提出了一种基于人体3D骨架估计的人机交互界面，该界面允许人类用户在模拟和现实环境中与机器人交互并将运动传递给机器人。机器人手臂可以通过利用运动学冗余来实现仿人动作，而不是在末端执行器上进行类似人类的运动。实现了具有离散协同控制系统的航空机械手原型。最后，建立了实验场景，以提高所提出的基于视觉的航空机械手HRI控制方法的系统性能。

2. 整体架构流程

本文基于人体手臂的简化运动学模型，设计并开发了一种具有柔顺性和拟人化特征的仿人双臂空中机械手系统。整体结构采用仿生设计原理，左臂和右臂对称。为了满足空中机器人的有效载荷能力和续航能力需求，该原型的每个模块都经过模块化、紧凑和轻便的设计，便于无缝集成到空中机器人系统中。每个机械手都有一个4自由度结构，用于基于空中接触的操纵，并在肩部柔性关节中设计了一个紧凑的柔性机构。3D空中机械手原型如图1所示。

Figure 1. Humanoid structure of the compliant dual-arm aerial manipulator.

      双臂的大小和比例以及肩宽与人类手臂相似。在这些关节中，肩部偏航和肩部俯仰是顺应性关节，关节结构包含一个顺应性机制。这种设计具有人形和低惯性的顺应性特征，便于模仿和复制拟人化双手技能[15]。柔性关节作为机械手结构中的一个轻质柔性单元，其设计合理性对机械手的稳定运动和接触安全起着重要作用[16]。
       该系统集成了一个最大起飞重量为15公斤的多旋翼平台、两个4自由度空中机械手和高性能机载计算设备Jetson Xavier NX。此外，控制系统的软件架构采用分布式控制策略，使遥操作控制系统、空中机器人任务管理器和机器人手臂运动控制器在不同的计算设备上运行。这种分布式计算架构有助于降低机载侧的计算负载和功耗，这对提高系统的稳定性和可扩展性具有重要意义。同时，地面军事系统作为人机交互的遥操作控制和可视化终端，提供精细的操作控制和状态信息反馈，使地面操作员能够控制空中机械手稳定可靠地执行任务。此外，弹性驱动单元仅集成在肩关节和摆动关节中，以尽可能减轻整体重量。

 

---

3. 控制系统设计

3.1 Vision-based Human-Robot Interaction Control

   Modeling and tracking the human body’s 3D skeleton is important in designing the vision-based HRI teleoperation controller. Figure 2 illustrates the joint locations and connections relative to the human body for the Azure Kinect method and OpenPose. In this study, we use the Azure Kinect human skeleton modeling method. The skeleton include