手势交互方案简述

1. • 手势追踪控制器简介

手势追踪控制器是一种能对用户手部姿态和动作进行精确追踪的设备，其优势在于，用户手部无需佩戴任何设备，即可完成手掌和十指的动作捕捉，实现与计算机的人机交互。

依靠此设备，只需挥动一只手指即可浏览网页、阅读文章、翻看照片，还有播放音乐，即使不使用任何画笔或笔刷，用您的指尖即可以绘画，涂鸦和设计；用户可以在3D空间进行雕刻、浇铸、拉伸、弯曲以及构建3D图像，还可以把他们拆开以及再次拼接。

该设备能让用户体验一种全新的交互方式，依靠此设备，可直接用双手的方式，在虚拟仿真训练中完成点击按钮、推动阀柄、抓取设备等操作。

手势追踪控制器能精确追踪用户双手位置，从技术上说，这是一个8 立方英尺的可交互式 3D 空间。人的一只手，有 29 块骨头、29 个关节、123 根韧带、48 条神经和 30 条动脉。这是一种精密、复杂的追踪过程，但依靠此设备能不费吹灰之力，轻松掌握。

控制器可追踪全部10 只手指，精度高达 1/100 毫米。它远比现有的运动控制技术更为精确。150°超宽幅的空间视场，您可以像您在真实世界一样随意在3D的空间移动您的双手。

控制器能以超过每秒200 帧的速度追踪用户的手部移动，保障用户人机交互的低延迟体验。

2. • 手势捕捉原理

微动手势传感器根据内置的两个摄像头从不同角度捕捉的画面，重建出手掌在真实世界三维空间的运动信息。检测的范围大体在传感器上方25 毫米到 600 毫米之间，检测的空间大体是一个倒四棱锥体。

其工作流程如下：首先建立一个直角座标系，座标的原点是传感器的中心，座标的X 轴平行于传感器，指向屏幕右方。Y 轴指向上方。Z 轴指向背离屏幕的方向。单位为真实世界的毫米。

在使用过程中，传感器会定期的发送关于手的运动信息，每份这样的信息称为“帧”( frame )。每一个这样的帧包含检测到的：

• 所有手掌的列表及信息

• 所有手指的列表及信息；

• 手持工具(细的、笔直的、比手指长的东西，例如一枝笔)的列表及信息；

• 所有可指向对象(Pointable Object)，即所有手指和工具的列表及信息；

传感器会给所有这些分配一个唯一标识(ID)，在手掌、手指、工具保持在视野范围内时，是不会改变的。根据这些 ID，可以通过 Frame：：hand( ) ， Frame：：finger( ) 等函数来查询每个运动对象的信息。

主控程序可以根据每帧和前帧检测到的数据，生成运动信息。例如，若检测到两只手，并且两只手都超一个方向移动，就认为是平移；若是像握着球一样转动，则记为旋转。若两只手靠近或分开，则记为缩放。

所生成的数据包含：

• 旋转的轴向向量；

• 旋转的角度(顺时针为正)；

• 描述旋转的矩阵；

• 缩放系数；

• 平移向量；

对于每只手，可以检测到如下信息：

• 手掌中心的位置(三维向量，相对于传感器座标原点，毫米为单位)；

• 手掌移动的速度(毫米每秒)；

• 手掌的法向量(垂直于手掌平面，从手心指向外)；

• 手掌朝向的方向；

• 根据手掌弯曲的弧度确定的虚拟球体的中心；

• 根据手掌弯曲的弧度确定的虚拟球体的半径；

对于每个手掌，亦可检测出平移、旋转(如转动手腕带动手掌转动)、缩放(如手指分开、聚合)的信息。检测的数据如全局变换一样，包括：

• 旋转的轴向向量；

• 旋转的角度(顺时针为正)；

• 描述旋转的矩阵；

• 缩放因子；

• 平移向量；

该控制器除了可以检测手指外，也可以检测手持的工具。像上文所说的，就是细的、笔直的、比手指长的物件。

根据采集到全局的信息、运动变换，手掌、手指和工具的信息和变换，并将上述数据实时发送到PC端，开发者将收到的数据进行解析，并与虚拟环境进行作用和联动，以此就能实现用户与虚拟系统的人机交互。

3. • 裸手手势捕捉技术应用

当前，已经建立了好几种人机沟通的交互方式。随着计算机技术的飞速发展，有关机械设备和人类之间的交互应用呈指数级增长势态，从最初仅限于语音识别和控制的技术，现在已经发展至运动、位置以及手势的追踪。

近年来，由于VR技术的发展，行业内三维仿真训练逐渐开始走向热门，在视觉观感上取得了极大的效果提升，但交互性仍然是一大痛点。VR训练中手柄控制器虽定位精准，但与人类的操作习惯相去甚远，使用手柄无法模拟双手操作的动作及姿态，使得基于该技术的训练方式仍然不够理想。简单来说，基于VR的训练方式虽视觉效果逼真，但缺陷也较为突出，主要如下：

1. 无法对人类的双手操作方式进行仿真模拟；

手柄控制器为按键式，和人类双手交互方式差别太大，用户使用虚拟现实仿真训练系统时，还必须先学习和适应手柄按键规则。手套设备价格昂贵，且需穿戴专用设备；每次开始训练前，都必须进行消磁和校准等一系列繁琐的操作。

2. 晕动症、易疲劳

虚拟现实训练系统虽沉浸感较高，但部分用户在使用时会明显感觉到眩晕（部分人无感，部分人强烈，由个人身体特征决定）；且因该类设备重量大，用户更颈椎疲劳，且眼部受头显挤压，长时间使用会眼部疼痛。

针对上述痛点，可采用全息显示+手势追踪传感器这一创新方式来打造一套全新的仿真训练环境，仅需佩戴58g的主动式3D眼镜（仅为主流虚拟现实头显重量的1/10）即可看到逼真的3D画面，同时，依靠手势传感器，用户手部无需穿戴任何设备，即可实现手部输入的捕捉，通过开发专用的主控软件实现与训练环境的交互。该系统十分适合组件装备的结构教学、拆装训练、单装操作训练等，与虚拟现实系统配合，各自发挥优势，尽可能实现训练科目的全覆盖。