基于Python的手语识别系统的设计与实现开题报告

一、选题的依据及意义

在这个世界有一群人因为听不到声音而失去了学习说话的机会，这群人就是听力残障人士（包括失语者，失聪者）。他们听不到声音，不能理解发声，这给他们的生活带来了诸多不便。他们只能通过手语来进行交流，以至于他们对于语言的学习有极大的障碍。如今手语普及度不高，这导致我们普通人和听障人士不能进行良好的沟通。 据第二次全国残疾人抽样调查结果显示，我国有听力残疾患者达2780万人。其中单纯听力残疾2004万，占残疾人总数(8296万)的24.2%，占中国人口总额的1.67%。然而，尽管听力损伤人群如此庞大，中国却正处于极度缺乏能提供高质量听力服务的专业人员的阶段：1万名具有不同水平的听力健康专家为13.7亿人提供着服务(1∶137000)，中国听力学专家人口占比较之于美国(1∶9000)正处于“极度匮乏”状态。 手语是"人们在聋哑人环境中使用手的指式、动作、位置和朝向，配合面部表情、按照一定的语法规则来表达特定意思的交际工具"。手语的思维和语言的思维是有许多不同的，这导致这些无法听到声音的人对语言逻辑和语言组织的理解困难。也就是说相比于普通人他们的语言学习道路是曲折的。虽然现在医学家也在努力让这些聋哑人听到声音，如人工耳蜗手术，但其价格昂贵，语言分辨率差需配合语言训练和唇读，目前只适用于全聋者。而对于正常人来说，只有经过长时间的系统的学习，才能与这些听障人士进行良好的沟通。但是如今我国的手语并不普及，高水平的手语翻译人员更是不多，从事手语翻译工作的人员更是少之又少，以至于日常生活中聋哑人和普通人存在沟通障碍。对聋哑人的日常生活是十分不利的。这也说明现在迫切的需要一个这样的人工智能的手语识别系统的沟通工具。目前众多学者仍然在对手语识别系统进行研究，有基于传感手套传感器的识别系统，也有利用摄像头采集图像的手语识别系统。但如今的手语识别系统由于识别率低和使用方法复杂，依然无法做到普及。 基于以上的这些问题，开发出一款操作简单的手语识别系统并尽快做到普及是十分重要的，这对于听障人士和社会都是非常有意义的。随着人工智能和深度学习的发展，手语识别系统的普及更有希望了，利用现有技术开发手语识别系统帮助正常人和听障人士之间的交流，降低语言沟通障碍，减少听障人士与正常人的差异，让听障人士更好的融入社会，这对彼此生活品质的提高有着重要的社会价值和现实意义。

二、论文研究内容

对于手语识别与翻译目前有两种方法分别是通过数据手套这类传感器和基于计算机视觉这两类方法。如今深度学习发展迅速，利用计算机视觉来获取图像更易获取而且轻便简单。从研究对象上看，当前手语识别研究包括离散手语识别，连续手语识别两个方面。本系统决定利用USB摄像头作为输入设备，对离散手语（即静态手语）进行识别，如46个英文字母，数字和中国静态手语。对用户导入的手语图片文件或实时静态手语的识别。这是本系统的预设实现模块之一。另外对于用户的查询手语的需求，本系统还将设计文字转手语图片的模块。这两个模块是我手语识别系统的核心。 本系统分为用户和管理员两个页面。用户页面有基于以上的两个核心模块以及一些其他用户功能，如用户的登入注册，用户上传文件查看文件，识别结果的显示。管理员页面主要是管理员对于手语图片数据库的管理如更新和删除，以及对用户的管理功能。 图1 系统框架图 （一）用户页面 1．用户的登录注册 2．上传/查看文件 用户可以选择上传手语图片进行识别，这些都会保存进系统数据库，方便用户之后的查看或删除。 3.识别模块 对于识别模块，根据用户的选择（即选择文件还是摄像头实时图像）系统获取手语图像，接下来手语图片的预处理功能将采集到的图片进行肤色检测分析，提取手部图像。卷积神经网络是一类包含了卷积运算的神经网络,是深度学习的代表算法之一。利用卷积神经网络实现手部图像特征的提取和手语识别模型的构建。 4.检索模块 对用户输入的简单词汇进行识别，输出手语图片。如果未找到相应的图片则输出“系统未找到相应内容，等待管理员更新” 5.识别结果 展示系统的手语识别结果。 （二）管理员页面 1.管理图片库 管理员可以查看手语图片数据，并进行管理。 2.用户管理 可以查看用户信息。

三、论文研究思路

本系统将采用的研究方法主要是文献研究法、描述研究法和功能分析法。首先通过文献研究法梳理国外理论和国内研究，通过调查文献来获得资料，从而全面地、正确地了解掌握手语识别系统的发展现状。然后用描述研究法对于相关的概念、算法和技术进行进一步了解，最后通过功能分析法对要完成的设计进行功能模块具体分析，从而实现整个系统。 首先是进行文献分析。大量收集国内外有关在线考试系统的文献，进行研究。为后续的系统分析建立基础。 第二是系统模块分析。学习有关OpenCV、肤色检测、神经网络算法等技术以及手语识别系统相关的技术。 第三是系统设计。首先对设计思想、设计目标和系统结构进行简单概述， 然后对各角色的实现要求进行分析，最后根据以上功能涉及数据库结构的设计进行详细阐述，该部分展现了系统的全貌。 第四是开发。根据以上进行的分析进行逐一开发设计，实现系统功能。 第五是测试。对本手语识别系统运行测试。 最后进行应用与评价。

四、论文工作进度

序号 各阶段工作内容 起止日期 备  注 1 文献查找，收集资料 2022-10-10 到2022-10-20 确定论文题方向，进行论文题目的选题工作 2 准备开题报告选题申报表和开题汇报工作 2022-10-21 到 2022-11-5 以论文题目为核对相关资料进行收集和翻阅，完成开题报告和选题申报表的填写，同时准备开题汇报的相关材料 3 概要设计 2022-11-6 到 2022-11-30 根据论文相关文献资料，完成系统概要设计，同时理清论文思路，将相关想法与导师沟通交流，根据导师的建议，进一步完善系统功能与论文结构 4 详细设计 2022-12-01 到 2022-12-25 完成系统的详细设计过程，同时正式开始论文撰写工作，完成中英文摘要，阐述论文的写作背景和选题所要解决的问题，并基本构造好论文总体框架 5 完成初稿 2022-12-26 到 2023-01-09 完成系统测试工作，同时在查阅大量文献的基础上，运用多种研究方案，完成论文初稿 6 论文定稿 2023-01-10 到 2023-03-30 在导师的指导下完成论文初稿修改，经过反复修改，形成终稿 7 答辩准备 2023-03-31 到 2023-04-30 论文终稿检测，系统调试，答辩PPT的制作 8 材料上交 2023-05-30 到 2023-06-30 根据答辩评审专家的意见，完成论文的修改，相关材料收集归档

五、参考文献（不能超过五年的文献，书籍除外）

[1] 武红娇. 复杂背景下的静态手语识别技术研究[D].沈阳工业大学,2017. [2] 朱佩德. 深度学习驱动的基于智能手表的手语翻译系统[D].中国科学技术大学,2019. [3] 倪训博,赵德斌,高文,姜峰,姚鸿勋.非特定人手语数据生成及其有效性检测[J].软件学报,2010,21(05):1153-1170. [4] 赵凯. 中国手语实时识别系统研究[D].上海交通大学,2020. [5] 李丹. 面向非特定人的中国手语词识别研究[D].重庆邮电大学,2020. [6] 蒲俊福. 基于深度学习的视频手语识别研究[D].中国科学技术大学,2020. [7] 钱锟. 手语识别系统设计[D].内蒙古大学,2018. [8] 刘运炜. 基于RealSense的手语手势识别系统开发[D].黑龙江大学,2020. [9] 杨露. 基于深度学习网络的手语识别算法研究与实现[D].西安电子科技大学,2021. [10]王琪. 基于深度学习的手语识别系统设计与实现[D].西安电子科技大学,2021. [11]张福明. 面向非特定人群的动态手语识别系统研究[D].北方工业大学,2022. [12]桂彬彬. 汉语语音驱动的虚拟人手语翻译技术研究[D].天津理工大学,2021. [13]郭丹,唐申庚,洪日昌,汪萌.手语识别、翻译与生成综述[J].计算机科学,2021,48(03):60-70. [14]钟建敏,李晓冬,李家健,陆任贵,常子键.基于KNN-HMM的智能手语翻译系统[J].科技视界,2021(03):43-46. [15]李安阳,郭丹.基于双路并行时序学习模型的手语视频翻译[J].合肥工业大学学报(自然科学版),2021,44(01):54-60. [16]李安阳. 基于神经网络时序建模的连续手语翻译研究[D].合肥工业大学,2019. [17]尹玉婷. 基于深度学习的手语生成研究[D].西安工业大学,2021. [18]刘涛,马静,徐军,郑煜伟,唐兆军,付琳,周莹莹.基于肤色分割和卷积神经网络的手语识别系统[J].电脑知识与技术,2021,17(35):14-17. [19]邱君宁,钟梓键.运用体感技术实现手语识别系统设计[J].福建电脑,2020,36(08):95-97. [20]石曼曼. 面向非特定人群的动态手语语句识别系统研究与实现[D].南京航空航天大学,2017. [21]曾维佳,秦放,思雨.基于人工神经网络的手语识别系统[J].信息与电脑(理论版),2017(11):143-144. [22]封万俊. 基于肌音信号的无线采集系统设计及手语识别初期应用研究[D].华东理工大学,2019. [23]李强. 基于卷积神经网络的静态手语识别系统[D].吉林大学,2020. [24]吴晓越. 多终端连续中文手语识别系统开发及算法研究[D].东北电力大学,2022. [25]徐岩. 基于视觉模型的手势感知技术研究[D].南京大学,2019.