三维手部姿态估计（手部动作识别）在人机交互中的应用

1. 研究背景

手部动作识别方法作为实现人机交互的重要手段，通过采集用户的手部动作信息，将其转化为指令并传送给机器人操作系统，随后机器人根据指令执行任务。与人手类似，仿生机械手具备广泛的运动范围和自由度，能够执行各种操纵任务。仿生机械手在不同的工作场景下不需要更换末端执行器，更改相应控制算法即可完成多种形式的作业。基于此，研究人员致力于将手部动作识别方法和机械手结合起来，让人手来主动控制仿生机械手完成相应操作。

对于机器人来说，实现其手指的运动是一项复杂而艰巨的任务。仿生机器手的每个手指由多个关节组成，而各个手指必须协调一致地运动。因此，提高人机交互中手部动作识别方法的准确率、识别速度至关重要。

2. 手部关键点模型

采用基于视觉的手部动作识别方法，实现人与仿生机械手的交互。由于人机交互的应用场景往往会面临复杂的环境，因此提高手部动作识别方法的准确性和实时性非常重要。

人手由手掌、五指和手腕组成，手部关节的存在使得手可以进行多种形态的变化和执行复杂的操作。为了更形象的展示手部姿态，需要对手部关节标注关键点。目前手部关键点的模型主要有3种，如下图所示，分别是14、16和21个的关键点的手部模型。现阶段使用最多的是21关键点的手部模型。

图 1 不同关键点数的手部模型

3.方法
连续挥手动作的手部关键点坐标变化情况中可以看出，手部关键点的坐标位置在运动过程中会发生变化，但它们之间的相对性保持不变。因此，本文基于三维手部姿态估计生成的关键点信息，计算人类手指的角度变化信息，形成对仿生机械手的交互指令，实现人手运动与仿生机械手运动之间的交互。

图 2 方法的部分框架图

图 3 人机交互过程
4.实验及演示
交互过程中，实时性优越，FPS达到了80以上。


图 4 人机交互实验演示