手势识别 技术

手势识别可以分为基于可穿戴设备的识别、基于触摸技术的识别和基于计算机视觉的识别。

一、基于可穿戴设备的识别

1、在手势交互过程中，可以直接采集每根手指的弯曲姿态，通过数据归一化和平滑处理两根手指之间方位的时空参数。然后，手势识别模型训练可以选择有效的特征参数。所采集的位置参数一般具有较高的精度。因此，手势模型训练方法的选择对手势识别效果影响较大。

Mehdi S A, Khan Y N. Sign language recognition using sensor gloves. In: Proceedings of the 9th International Conference on Neural Information Processing. 2002, 2204−2206 DOI:10.1109/ICONIP.2002.1201884

使用人工神经网络(ANN)模型进行基于感觉手套的美国手语识别，然后将其翻译成英语

Shi J F, Chen Y, Zhao H M. Node-Pair BP Network Based Gesture Recognition by Data Glove. System Simulation Technology, 2008, 4(3): 154−157 DOI:10.3969/j.issn.1673-1964.2008.03.003 

通过传感器获得不同输出节点的实测值，并将这些节点配对成一个BP神经网络来识别手势

Rung-Huei L, Ming O. A real-time continuous gesture recognition system for sign language. In: Proceedings Third IEEE International Conference onAutomatic Face and Gesture Recognition. 1998, 558−567 DOI:10.1109/AFGR.1998.671007 

用数据手套采集了51个基本姿势，包括6个方向，8个动作原始数据。然后利用隐马尔可夫模型进行建模，建立了一个能识别250种台湾手语的词汇系统。由这些手势组成的连续句平均识别率达到80.4%

Liu M T, Lei Y. Chinese finger Alphabet flow recognition system based on data glove. Computer Engineering, 2011, 37 (22): 168−170 

使用数据手套Ultra 5进行数据采集，并结合BP神经网络和Markov对汉语拼音进行识别

Wu J Q, Gao W, Chen L X. A system recognizing Chinese finger-spelling alphabets based on data-glove input. Pattern Recognition andArtificial Intelligence, 1999(1): 74−78 

将神经网络与学习决策树相结合，建立了一个识别模型，利用数据手套构建了一个中文手指拼写手势识别系统。

Weissmann J, Salomon R. Gesture recognition for virtual reality applications using data gloves and neural networks. In: IJCNN'99 International Joint Conference on Neural Networks Proceedings. 1999, 2043−2046 DOI:10.1109/IJCNN.1999.832699 

通过数据手套获得了18个不同手指关节的测量值，并利用BP和径向基函数建立了多个不同的神经网络模型用于手势识别。一些神经网络模型能够识别特定的手势，其准确率甚至达到了100%

2、此外,当输入数据手套的数据转换为虚拟手模型与对象交互,通常需要进行碰撞检测来确定对象和手之间的接触情况,并通过接触情况确定手的操作条件。

Xu Y H, Li J R. Research and implementation of virtual hand interaction in virtual mechanical assembly. Machinery Design & Manufacture, 2014(5): 262−266 

边界框法进行碰撞检测,并将检测结果与手势库,它决定此时角是否符合定义的动作,从而实现了虚拟装配技术的虚拟手。该方法的精度相对较差，不可能实现相对复杂的交互。在未来，将有可能通过虚拟力分析和运动分析来确定手和物体之间的相对位置。

3、随着MEMS技术的发展，传感器变得小型化、智能化，进一步推动了基于传感器的手势识别可穿戴设备的发展。利用传感器获取目标的角速度、加速度等运动信息，可以直接获取手势的空间位置，不需要进行手势分割。通过对信息的建模和分析，可以对交互手势进行识别。

Mirabella O, Brischetto M, Mastroeni G. MEMS based gesture recognition. In: 3rd International Conference on Human System Interaction. 2010, 599−604 DOI:10.1109/HSI.2010.5514506 

创造了一种手势识别系统，允许用户浏览数码照片、家庭电视或通过预定义的手势为身体残疾的人提供特殊服务。系统利用加速度传感器读取手势的输入数据，通过HMM训练，识别用户自定义手势的状态，用户可以根据应用程序的需要向手势列表中添加一个新的手势。

Kela J, Korpipää P, Mäntyjärvi J, Kallio S, Savino G, Jozzo L, Marca D. Accelerometer-based gesture control for a design environment. Personal & Ubiquitous Computing, 2006, 10(5): 285−299 DOI:10.1007/s00779-005-0033-8 

使用加速度计控制器和HMM来收集和识别用户的输入手势，研究手势模态对用户交互的影响。结果表明，不同的人对同一任务偏好不同的交互手势。对于某些任务，手势比语音、激光笔、平板电脑等交互方式更加自然，甚至可以增强与其他方式的交互。

Xu J, Liu C H, Meng Y X. Gesture recognition base on wearable controller. Application of Electronic Technique, 2016, 42(7): 68−71 

定义了六种简单手势类型，通过陀螺仪和加速度计获取手势数据，提取手势长度和能量等六个特征，并使用决策树分类器识别出六种手势

He Z Y, Jin L W, Zhen L X, Huang J C. Gesture recognition based on 3D accelerometer for cell phones interaction. In: APCCAS2008 - 2008IEEEAsia Pacific Conference on Circuits and Systems. 2008, 217−220 DOI:10.1109/APCCAS.2008.4745999 

在手机上添加加速度计，获取用户操作时手势的运动状态，提取离散余弦变换(DCT)快速傅里叶变换(FFT)和小波包分解(WPD)的三个不同特征，并使用SVM进行分类训练。与其他两种特征相比，基于wpd的特征提取方法对17种复杂手势识别的准确率较高，达到了87.36%

Schlömer T, Poppinga B, Hen