东南大学计算机视觉博士招生,基于计算机视觉的手势识别及人机交互技术的应用研究...

基于计算机视觉的手势识别及人机交互技术的应用研究

【摘要】：手势交互具有自然、直观等优点,已成为人机交互领域中的重要部分与研究热点。手势交互技术可按输入设备分为多种类型,例如数据手套、加速传感器、触摸屏、单目摄像机、深度摄像机等。本论文研究的是基于单目视觉的手势交互技术,它通过分析裸手的图像信息来识别手势的类型或语义。该技术不需要额外的设备,更符合人类的交互习惯,但是有限的输入信息导致了一些具有挑战性的问题。人手的高自由度、环境的复杂性等均会影响手势识别的正确率与运算速度。为此,本文提出了能用于复杂环境的手势分割与识别算法,尤其解决了人脸的干扰问题,在这些算法的基础上设计开发了一个实时的手指-视线人机交互系统。本论文主要内容与贡献如下:(1)针对复杂环境下的手势识别问题,本文采用肤色分割与背景差分法相结合的方法提取手势区域,在YCbCr颜色空间建立基于直方图的CbCr肤色模型,以及结合帧间差分的背景分割模型。为了消除手势位置的改变、背景中类肤色的物体以及动态的背景对手势分割造成的干扰,对肤色与背景模型进行了实时地更新。在此基础上,提出了一种基于Hu矩、轮廓凸性与紧性的支持向量机分类算法,实现了6种静态手形的识别。实验表明,该手势分割与识别算法能在复杂背景下快速且准确地提取目标,对手势方向、尺寸变化以及手指结构变化均具有较强的鲁棒性,识别率正确率达到98%。(2)基于单目视觉的手势识别系统中,人脸处于摄像头视野内,并经常与手部发生重叠。由于人脸与手的颜色与纹理特征非常类似,对手势识别的稳定性造成很大的影响,因此,实时准确地分离重叠的手与人脸区域是本文最重要的内容之一。针对背景中存在人脸干扰的问题,本文提出了一种基于部件模型与边缘修复的手势分割算法,当手与人脸重合时,利用分层Chamfer距离匹配算法定位手势区域;考虑到手指的灵活性,将人手分为手掌与各手指的子部分,再利用基于图结构与梯度方向直方图的支持向量机分类器来检测这些子部分;为了解决手与人脸的交界处的边缘模糊不清的问题,采用提出的边缘修复法来获得完整的子部分轮廓线,将这些修复后的轮廓组合起来即可得到精确的手势区域。实验表明,该算法对头部运动、手势几何变形以及不同用户的差异性具有鲁棒性,在包含手与人脸重合情况的数据