科技以造福人类为本,构成我们庞大社会的不只有四肢健全,感知正常的普通百姓,更有许许多多身体条件有缺陷的残疾人,为这类朋友们造福也是科学研发的重中之重。手语是聋哑人士的主要沟通工具,但没有学过手语的一般人很难明白手语的含义,造成了沟通困难。
为了解决这个问题,我们设计实现了一个基于yolov5与OpenCv的手语手势识别系统。
手语手势识别系统的构建大体可以分为四个流程:手语关键帧获取,训练数据集制作,手语手势识别模型训练,制作前端展示窗口。
手语关键帧获取模块提取了关键帧动作样式图片之后,参照关键帧动作进行训练素材图像的拍摄,亲自拍摄了700张左右的手语手势图像作为原始数据集,然后进行目标标注。标注好的数据集由手势识别模型训练模块进行调用,训练出手势识别模型,最后前端展示窗口通过调用预测代码,实现图片文件内容识别、视频文件内容识别、摄像头实时识别三类识别功能。
- 手语关键帧获取。——由于本人能力有限,无法实现对一系列动作的含义进行识别,所以转而