基于移动终端的汉语手语识别技术研究

基于移动终端的汉语手语识别技术研究
摘 要:文中使用图像轮廓填充图形作为手语手势的特征参数进行静态手语识别。关键是提取出图像边缘轮廓,并做出轮廓填充图形,根 据这个特征参数对待测图像进行手语手势的特征匹配。该方法对图像亮度、缩放、平移、旋转具有不变性,而且该方法计算简单、快速,可以 用于基于移动终端(Android手机操作系统平台下)的手语识别系统。 关键词:手语识别 图像轮廓匹配 移动终端

随着计算机技术和通信技术的迅速发 展,多模式人机交互技术研究也有很大进展。手语识别作为多模式人机交互技术的
重要研究方向,其主要目标是使特殊用户 (例如聋哑人)可以用更加方便、自然和符合 其生理特点的方式来使用计算机、手机等 现代化信息设备。总之,手语识别的研究和实现不仅是一门有价值的研究课题,而且 具有更加广泛的社会意义和实际应用前 景。 目前这种方法对图像的亮度、缩放、平 移、旋转具有不变性,具有很高的识别率, 而且识别快速、方便。其缺点在于只能处理 静态的单个的手语图像。但相比以前的电脑平台下的手语识别,这种方法更加的方 便,用很广阔的前景。 据国外媒体报道,美国华盛顿大学的 工程师正在测试一款名为MobileASL的工 具,这款工具能利用运动感知技术去识别 美国手语,并通过手机发送图像。这是目前
唯一可查的研究手语识别技术在移动终端 应用的项目。

1 手语识别建模与实现
通过移动终端(这里主要指手机)获取 一幅待测图片,经过预处理后提取图像轮 廓填充图形作为特征参数,将特征参数与 标准库进行对比,从而识别出改图片对应 的手语含义。原理与模型如图1所示。 通过手机获取26张“ A-Z”标准手语手 势的图片,针对每张图片我们采取以下处
理步骤,以建立标准库:获取图片→灰度处 理→图像裁剪。 本文采用canny算子进行边缘提取。 Canny算子是一个具有滤波、增强、检测的 多阶段的优化算子,在进行处理前,Canny 算子先利用高斯平滑滤波器来平滑图像以 除去噪声,Canny分割算法采用一阶偏导的
有限差分来计算梯度幅值和方向,在处理 过程中,Canny算子还将经过一个