手势识别一直是一个很热门的方向,也是应用方向很广的,比如,手机,电视机,无人机都可以应用到,因此研究的人也比较多,各种做法也比较多,笔者也写过三篇相关,比如:
基于深度学习神经网络YOLOv5目标检测的手势识别系统_yolov5手势识别创新点-CSDN博客
基于深度学习神经网络YOLOv4目标检测的手势识别系统-CSDN博客
基于OpenCV+深度学习CNN+Keras的智能手语/手势识别系统-CSDN博客
第一篇和第二篇是基于yolo做开发的,也就是目标检测,端到端检测到,第三篇是分两部的,首先通过传统算法检测到手的部分,然后再进行分类。那有没有基于手指关键点的做法呢,答案是肯定的,马上安排。
基于手指关键点检测,我们首先是要检测到手的关键点,这个可以用深度学习做,也可以用一些现有的检测包,然后再根据手的关键点,进行角度计算,就可以判断这个手势属于那种
角度计算代码可参考如下:
# 计算姿态
def get_pos(keypoints):
str_pose = ""
# 计算左臂与水平方向的夹角
keypoints = np.array(keypoints)
v1 = keypoints[1] - keypoints[0]
v2 = keypoints[2] - keypoints[0]
angle_left_arm = get_angle(v1, v2)
#计算右臂与水平方向的夹角
v1 = keypoints[0] - keypoints[1]
v2 = keypoints[3] - keypoints[1]
angle_right_arm = get_angle(v1, v2)
if angle_left_arm>0 and angle_right_arm>0:
str_pose = "LEFT_UP"
elif angle_left_arm<0 and angle_right_arm<0:
str_pose = "RIGHT_UP"
elif angle_left_arm>0 and angle_right_arm<0:
str_pose = "ALL_HANDS_UP"
elif angle_left_arm>0 and angle_right_arm<0:
str_pose = "NORMAL"
return str_pose
def get_angle(v1, v2):
angle = np.dot(v1, v2) / (np.sqrt(np.sum(v1 * v1)) * np.sqrt(np.sum(v2 * v2)))
angle = np.arccos(angle) / 3.14 * 180
cross = v2[0] * v1[1] - v2[1] * v1[0]
if cross < 0:
angle = - angle
return angle
搭建出的GUI界面如下(具有图片识别和摄像头实时识别功能):
提供整套,提供GUI界面代码
代码的下载路径(新窗口打开链接):基于Opencv的手势识别
有问题可以私信或者留言,有问必答