34、基于主动轮廓的指尖跟踪用于通用人机交互应用

基于主动轮廓的指尖跟踪用于通用人机交互应用

1. 引言

近年来，手势识别成为热门研究领域，它为实现更自然的人机交互提供了可能。许多实时手势识别系统借助手部运动轨迹来识别指令，但精准识别指令的关键在于准确获取指尖位置。

以往的指尖跟踪方法存在诸多不足。基于轮廓的二维指尖跟踪方法难以实现鲁棒跟踪，且通常仅适用于伸展的指尖；使用手指运动学模型的跟踪系统虽能稳定工作，但计算成本过高；利用立体视觉分析三维指尖位置时，当指尖弯曲到手掌或相互重叠，跟踪容易失败。

为解决这些问题，本文提出一种基于Kinect深度图像的系统。该系统先从深度图像中分割出手部区域，检测初始手部特征，再利用主动轮廓概念跟踪三维指尖，其能量由连续性、曲率、深度和距离等特征决定。此外，还开发了基于指尖跟踪结果的人机交互应用。

2. 初始手部分割

2.1 手部分割

前期研究中提出的基于目标检测的手部检测器，能较准确地搜索图像中的手部区域。但当脸部、手臂等身体部位靠近手部时，该检测器会失效。

为解决这一问题，系统引入深度图像。深度图像通过Kinect相机获取，是一个三维位置向量 (x, y, z)，其中x和y表示图像的行和列，z表示像素到相机的距离。通过设置手部检测器的初始深度值，可去除手部后方的物体，从而准确提取手部区域。提取手部区域后，可进一步估计手部的初始特征，如手部中心、指尖位置、手掌大小等，这些特征将作为手势识别系统中比较手势变化的参考值。

2.2 手部中心点

手部区域的中心点可通过手部区域像素的矩轻松计算得出，计算公式如下：
[X_c = \frac{M_{10}}{M_{0