基于手势与无关状态识别的航空多媒体控制系统

基于MATLAB手势识别的多媒体控制系统

1. 课题介绍

为缓长途客机上旅客的疲劳、增加操作的趣味性，设计开发基于手势与五官状态识别的航空娱乐多媒体控制系统。 交互系统由手势轨迹识别、手型识别、五官状态识别三部分组成，分别控制多媒体的菜单与游戏任务。系统硬件由普通计算机和摄像头组成，在 MATLAB 环境下完成软件程序。实验结果表明，系统完全脱离键盘与鼠标，利用手势、表情自由控制多媒体与游戏。手势及表情识别准确率超过 98%，平均处理时间 0.19 秒/帧，保证系统具有较高准确性的同时可以达到实时控制的效果。

1. 算法流程

手势轨迹识别流程包括四个步骤：摄像头画面读取、手指检测、手势特征提取、手势识别。首先，利用颜色检测确定手指的位置。其次，对连续图像间的手势轨迹提取特征向量，并进行量化。然后，当手势结束的信号触发后，获取完整的手势特征序列并且与已知的手势模型匹配。最后，从匹配获取的手势结果转化为控制指令，完整的手势轨迹识别过程如图 1 所示。

本系统采用了基于 YCbCr 色彩空间进行肤色分割获取手部区域，当 Y、Cb、Cr 分别满足肤色范围，判定该区域为肤色区域。然后，计算手部区域的所有像素点坐标的平均值获取手部质心坐标。为了准确识别手型