传统人机交互技术很大程度依赖于鼠标、键盘等输入设备,这些交互设备限制了交互的速度和自然性,已经无法满足用户的更多智能交互需求。同时,传统的人机交互方式在使用过程中需要接触设备,存在卫生安全的隐患。而空中手写识别的方式更加地简单、自然和安全。但现有空中手写识别技术无法实现快速、稳定的文本输入操作,传统手写识别输入依赖触摸板,语音交互也仅能满足部分应用场景的需求。
因此,为了实现稳定、快速、安全的空中手写识别模型,我们进行大量的实验和对比,最终结合深度学习MediaPipe Hands和NRTR模型实现了空中手写字符识别模型。首先,该模型通过机器视觉能够快速、稳定的检测手的21个关节点,通过记录关节点的轨迹实现了空中手写字符。在识别方面,该模型实现了数学、符号、字母、单词、单个中文以及混合字符的识别,并且采用了单个模型,避免了识别不同类型的文字切换模型的弊端。然后,在实现了空中手写识别字符的基础上,我们进行了不同终端的应用。在电脑端上,实现了简易计算器,能够实现加减乘除的基本运算。在手机端上,通过空中手写识别单个数字和调用安卓底层的应用接口实现了空中打电话的功能。
空中手写字符识别系统-介绍视频:
空中手写字符识别系统-演示视频: