HandOverHead

HandOverHead

借助 Kinect 传感器实现 Hand over head 的功能识别, 改变手中圆圈的颜色（红色）作为手超过头部的信号

演示视频

一、项目分析

• 1.1 项目来源

1. 借助已有项目 BodyBasics-WPF (C#), 已实现合拳和张掌的识别，整体框架已搭建完成，方便后续操作

2. 由上图可见，手（握拳）低于头部，手上的圆为红色

3. 如图，举手（握拳）超过头部，手部的定位圆并没有多大变化，也就是说原项目并没有对手超过头部做相应的处理

• 1.2 项目分析

1. BodyBasics-WPF 是对人体骨骼进行跟踪一种实现
   
   由下图可知，Kinect 总共定位人体的 25 处关节点
   
   通过 Kinect 对图像数据进行计算分析转换，从而显示到 Body Basics 窗口

2. 通过阅读源码，可知每个节点都有相应的三维数据，即3D空间坐标
   
   同时，也有特定的节点作为成员变量得以使用，例如 head, body等等

3. 在已有框架的基础上进行代码修改，从而实现 Hand over Head 的识别
   
   最主要修改 Microsoft.Samples.Kinect.BodyBasics -> MainWindow -> Reader_FrameArrived() & DrawHand().

4. 同时，也可以通过非编码方式—— ML，通过机器学习的方式对已有的视频进行标记训练，从而得到一个 gba 数据库模型
   
   然后根据该模型做相应的 react 测试，同样可实现对 Hand over Head 的检测

二、代码实现

• 2.1 项目准备

  通过 SDK 下载 BodyBasics-WPF (C#) 项目，打开 BodyBasics-WPF.sln，借助工具栏定位到 Reader_FrameArrived();

• 2.2 代码修改

1. 位于 this.DrawBody(joints, jointPoints, dc, drawPen); 语句之后，加入下列语句

bool isRightHandOverHead = isHandOverHead(body, JointType.HandRight);
bool isLeftHandOverHead = isHandOverHead(body, JointType.HandLeft);

2. 新建方法 isHandOverHead(Body body, JointType jointType);

private bool isHandOverHead(Body body, JointType jointType)
{
    var head = body.Joints[JointType.Head];
    var hand = body.Joints[jointType];

    bool isDetected = hand.Position.Y > head.Position.Y;
    return isDetected;
}

3. 修改 DrawHand() 调用代码，将 body.HandLeftState & body.HandRightState
   
   对应改为 isLeftHandOverHead & isRightHandOverHead

this.DrawHand(isLeftHandOverHead, jointPoints[JointType.HandLeft], dc);
this.DrawHand(isRightHandOverHead, jointPoints[JointType.HandRight], dc);

4. 最后，修改 DrawHand() 实现代码，原先代码实现有三种手势，分别为HandState.Closed、Open、Lasso
   
   由于仅需要判断手超过与不超过，所以只需要一个 bool 值即可，这也是为什么要搭建 isHandOverHead(); 的原因

private void DrawHand(bool isDetected, Point handPosition, DrawingContext drawingContext)
{
    switch (isDetected)
    {
        case true:
            drawingContext.DrawEllipse(this.handClosedBrush, null, handPosition, HandSize, HandSize);
            break;

        case false:
            drawingContext.DrawEllipse(this.handOpenBrush, null, handPosition, HandSize, HandSize);
            break;
    }
}

5. 编译运行代码后，通过手势操作
   
   当手关节（hand）空间坐标 Y 轴数值大于 头部（head）坐标
   
   借由 DrawHand 改变手上圆的颜色（超过为红色，低于为绿色）

6. 由此，通过修改源码实现举手过头的识别的步骤就到此结束
   
   实际上还可以通过将手变为红色的次数进行统计，从而计算出举手的次数
   
   该功能同样可以通过修改源码实现。

三、ML 实现

• 3.1 视频准备

  首先打开 Kinect Studio，自行录制一段短视频以备用，视频格式为：*.xef

• 3.2 手势训练

1. 打开 Visual Gesture Builder, New Solution, Create New Project
   
   Gesture Name: HandOverHead, 保存项目: HandOverHead.vgbproj

2. Add Clip：添加训练数据（视频源），待视频加载完毕，对视频中举手越过头部的动作进行标记
   
   并将标记的视频段的 Value 改为 True，表示标记完成，接着根据相同的方式标记剩余的视频

3. 对项目进行 Build，生成 HandOverHead.gba 手势分析数据库
   
   可在 Output 窗口查看训练进程，待 SUCCESS 出现表示训练结束

4. 使用 Live Preview 对刚训练的模型进行测试，可在 PREVIEW 窗口右侧 CPU React
   
   判断是否有标志性动作，即手部有没有超过头部

• 参考

Windows Kinect 官方视频