opencv-python 关于识别手势剪刀石头布
1.步骤
-
导入用得到的库
import cv2 import numpy as np import math
-
打开摄像头 内置摄像头索引为0
cap = cv2.VideoCapture(0)
-
读取照片 选择手势输入的位置
while (cap.isOpened()): ret, frame = cap.read() # 读取摄像头每帧图片 frame = cv2.flip(frame, 1) kernel = np.ones((2, 2), np.uint8) roi = frame[100:300, 100:300] # 选取图片中固定位置作为手势输入 选了左上角.
cv2.rectangle(frame, (100, 100), (300, 300), (0, 0, 255), 0) # 用红线画出手势识别框
-
基于hsv的肤色检测
# hsv的肤色检测 hsv = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) #定义三个通道颜色取值 lower_skin = np.array([0, 28, 70], dtype=np.uint8) upper_skin = np.array([20, 255, 255], dtype=np.uint8)
-
高斯滤波
# 进行高斯滤波 #mask把HSV图片中在颜色范围内的区域变成白色,其他区域变成黑色 mask = cv2.inRange(hsv, lower_skin, upper_skin) #设置阈值去除背景部分,得到想要的区域 mask = cv2.dilate(mask, kernel, iterations=4) mask = cv2.GaussianBlur(mask, (5, 5), 100)
-
找轮廓
contours, h = cv2.findContours(mask, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
-
定义、找出凹凸点
cnt = max(contours, key=lambda x: cv2.contourArea(x)) epsilon = 0.0005 * cv2.arcLength(cnt, True) approx = cv2.approxPolyDP(cnt, epsilon, True) hull = cv2.convexHull(cnt) areahull = cv2.contourArea(hull) areacnt = cv2.contourArea(cnt) arearatio = ((areahull - areacnt) / areacnt) * 100 # 求出凹凸点 hull = cv2.convexHull(approx, returnPoints=False) defects = cv2.convexityDefects(approx, hull)
l = 0 # 定义凹凸点个数初始值为0 for i in range(defects.shape[0]): s, e, f, d, = defects[i, 0] start = tuple(approx[s][0]) end = tuple(approx[e][0]) far = tuple(approx[f][0]) pt = (100, 100) a = math.sqrt((end[0] - start[0]) ** 2 + (end[1] - start[1]) ** 2) b = math.sqrt((far[0] - start[0]) ** 2 + (far[1] - start[1]) ** 2) c = math.sqrt((end[0] - far[0]) ** 2 + (end[1] - far[1]) ** 2) s = (a + b + c) / 2 ar = math.sqrt(s * (s - a) * (s - b) * (s - c)) # 手指间角度求取 angle = math.acos((b ** 2 + c ** 2 - a ** 2) / (2 * b * c)) * 57 if angle <= 90 and d > 20: l += 1 cv2.circle(roi, far, 3, [255, 0, 0], -1) cv2.line(roi, start, end, [0, 255, 0], 2) # 画出包络线 l += 1 font = cv2.FONT_HERSHEY_SIMPLEX
-
输出是什么手势
# 条件判断,根据特征不同选取出剪刀、石头、布手势(凹凸点个数) if l==2:#没有手势的时候是none cv2.putText(frame,'none', (0, 50), font, 2, (0, 0, 255), 3, cv2.LINE_AA) elif l==3:#三个点是剪刀(虽然其他三个点的手势也会输出剪刀。。。) cv2.putText(frame, 'scissors', (0, 50), font, 2, (0, 0, 255), 3, cv2.LINE_AA) elif l == 5:#五个点的是布 cv2.putText(frame, 'cloth', (0, 50), font, 2, (0, 0, 255), 3, cv2.LINE_AA) elif l==1:#一个点的是石头 cv2.putText(frame, 'stone', (0, 50), font, 2, (0, 0, 255), 3, cv2.LINE_AA)
-
保存显示
cv2.imshow('frame', frame) cv2.imshow('mask', mask)
-
按esc键退出 释放窗口
k = cv2.waitKey(25) & 0xff if k == 27: # 键盘Esc键退出 break cv2.destroyAllWindows() cap.release()#释放窗口
2.遇到的问题
- 受光线影响很大,而且经常受背景干扰。凹凸点也经常显示不准确(用手背测试效果好一些,可能因为颜色变化比较平滑)开始判断条件设置错了,导致没有手的时候也显示scissors。程序无法判断剪刀,因为剪刀和没有手势都是一个凹凸点,可能可以通过是否轮廓封闭来区分?但不会用代码进行区分
中间的凹凸点的实现没有怎么理解。 - 实际中凹凸点很不准确,并且由于手的晃动点的识别更加不准确
3.实现的结果
3.1 识别拳头手势
3.2 识别布手势
3.3 无手势识别
剪刀手识别还未实现,待开发中…