【手势交互】4. Kinect for XBox

“You are the Controller”，Kinect for Xbox的广告词，明确说明了Kinect体感的交互方式。作为一款集成了诸多先进视觉技术的自然交互设备，Kinect在学术和游戏业界均享有很高的关注度。此外，Kinect硬件的研发与生产综合了声、光、电和机械学等多方面的技术，其主要零部件近百个，是目前市场上大批量生产中的最为复杂的电子消费产品。

 

Kinect 的关键技术有四点：骨骼跟踪、动作识别、人脸识别、语音识别。本文关注的是基于前两者，骨骼跟踪和动作识别，这是Kinect 1体感交互的主要模块。Kinect 体感交互的流程大致是：

1、红外激光投影机周期性发射光编码形成散斑空间；

2、红外摄像头采集反射的散斑图像；

3、散斑图像分别与参考散斑图案进行互相关运算，得到各个像素点的互相关峰值，这个峰值就是深度图像；

4、深度图像经USB传送到主机；

5、通过人体分类器在深度图像中找到可能的人体区域，并创建分割掩膜，分割出人体区域；

6、通过机器学习的结果，快速对玩家的身体部位（头部、肢体、躯干等）进行分类；

7、从人体部位识别出20个关节点的三维坐标，从而进行人体骨骼三维建模；

8、基于骨骼跟踪进行动作识别（广义上识别的内容包含肢体运动、手势以及静态姿势），需要预先设定一些合理的动作定义；

9、游戏系统按照预定的动作定义，执行命令。