运用Opencv+Python实现简单的手势（轮廓）识别

运用Opencv+Python实现简单的手势（轮廓）识别

以下代码是基于python运用Opencv库运行的。虽然只能粗略的识别视频中或者打开摄像头中的手势轮廓进行识别，但是可以把手势给用轮廓画出来，可以简单检测手势。

第一步：获取视频（摄像头）

#cap = cv2.VideoCapture("F:/hands/hands.mp4")#读取文件
cap = cv2.VideoCapture(0)#读取摄像头
while(Ture):
	ret,frame = cap.read()	key = cv2.waitKey(50) & 0xFF
	if key == prd('q')
		break
cap.release()
cv2.destoryAllWindows()

第二步：肤色检测

代码中使用的是椭圆肤色检测模型

皮肤模型中有单高斯，混合高斯，贝叶斯模型和椭圆模型等。在前人学者大量的皮肤统计信息可知，如果将皮肤信息映射到YCrCb空间，则在CrCb二维空间中这些皮肤像素点近似成一个椭圆分布。因此如果我们得到了一个CrCb的椭圆，下次来一个坐标(Cr, Cb)我们只需判断它是否在椭圆内（包括边界），如果是，则可以判断其为皮肤，否则就是非皮肤像素点。

在RGB空间里人脸的肤色受亮度影响相当大，所以肤色点很难从非肤色点中分离出来，也就是说在此空间经过处理后，肤色点是离散的点，中间嵌有很多非肤色，这为肤色区域标定(人脸标定、眼睛等)带来了难题。如果把RGB转为YCrCb空间的话，可以忽略Y(亮度)的影响，因为该空间受亮度影响很小，肤色会产生很好的类聚。这样就把三维的空间将为二维的CrCb，肤色点会形成一定得形状，如：人脸的话会看到一个人脸的区域，手臂的话会看到一条手臂的形态。

代码如下：

#皮肤检测
def A(img):

    YCrCb = cv2.cvtColor(img, cv2.COLOR_BGR2YCR_CB) #转换至YCrCb空间
    (y,cr,cb) = cv2.split(YCrCb) #拆分出Y,Cr,Cb值
    cr1 = cv2.GaussianBlur(cr, (5,5), 0)
    _, skin = cv2.threshold(cr1, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU) #Ostu处理
    res = cv2.bitwise_and(img,img, mask = skin)
    return res

第三步：轮廓处理

轮廓处理的话主要用到这两个函数，cv2.findContours和cv2.drawContours。

cv2.findContours是Opencv库中的轮廓检测的函数。

cv2.findContours(image, mode, method[, contours[, hierarchy[, offset ]]])

image：参数是寻找轮廓的图像；
mode：参数表示轮廓的检索模式，有四种（本文介绍的都是新的cv2接口）：
cv2.RETR_EXTERNAL：表示只检测外轮廓
cv2.RETR_LIST：检测的轮廓不建立等级关系
cv2.RETR_CCOMP：建立两个等级的轮廓，上面的一层为外边界，里面的一层为内孔的边界信息。如果内孔内还有一个连通物体，这个物体的边界也在顶层。
cv2.RETR_TREE：建立一个等级树结构的轮廓。
method：轮廓的近似办法：
cv2.CHAIN_APPROX_NONE：存储所有的轮廓点，相邻的两个点的像素位置差不超过1，即max（abs（x1-x2），abs（y2-y1））==1
cv2.CHAIN_APPROX_SIMPLE：压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息
cv2.CHAIN_APPROX_TC89_L1，CV_CHAIN_APPROX_TC89_KCOS：使用teh-Chinl chain 近似算法

返回值

cv2.findContours()函数返回两个值，一个是轮廓本身，还有一个是每条轮廓对应的属性。

1. contour返回值：
   返回一个list，list中每个元素都是图像中的一个轮廓，用numpy中的ndarray表示。
2. hierarchy返回值：
   返回一个ndarray，其中的元素个数和轮廓个数相同，每个轮廓 c o n t o u r s [ i ] contours[i] contours[i]对应4个hierarchy元素 h i e r a r c h y [ i ] [ 0 ] h i e r a r c h y [ i ] [ 3 ] hierarchy[i][0] ~hierarchy[i][3] hierarchy[i][0] hierarchy[i][3]，分别表示后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号，如果没有对应项，则该值为负数。

这部分主要的问题是提取到的轮廓有很多个，但是我们只需要手的轮廓，所以我们要用sorted函数找到最大的轮廓。

cv2.drawContours()在Opencv库中是轮廓的绘制函数。

OpenCV中通过cv2.drawContours在图像上绘制轮廓。

cv2.drawContours(image, contours, contourIdx, color[, thickness[, lineType[, hierarchy[, maxLevel[, offset ]]]]])

image：指明在哪幅图像上绘制轮廓； contours：轮廓本身，在Python中是一个list。
contourIdx：指定绘制轮廓list中的哪条轮廓，如果是-1，则绘制其中的所有轮廓。
thickness：表明轮廓线的宽度，如果是-1（cv2.FILLED），则为填充模式。

完整代码如下：

""" 从视频读取帧保存为图片"""
import cv2
import numpy as np
 #cap = cv2.VideoCapture("F:/hands/hands.mp4")#读取文件
cap = cv2.VideoCapture(0)#读取摄像头

#皮肤检测
def A(img):

    YCrCb = cv2.cvtColor(img, cv2.COLOR_BGR2YCR_CB) #转换至YCrCb空间
    (y,cr,cb) = cv2.split(YCrCb) #拆分出Y,Cr,Cb值
    cr1 = cv2.GaussianBlur(cr, (5,5), 0)
    _, skin = cv2.threshold(cr1, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU) #Ostu处理
    res = cv2.bitwise_and(img,img, mask = skin)
    return res

def B(img):
    #binaryimg = cv2.Canny(Laplacian, 50, 200) #二值化，canny检测
    h = cv2.findContours(img,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE) #寻找轮廓
    contour = h[0]
    contour = sorted(contour, key = cv2.contourArea, reverse=True)#已轮廓区域面积进行排序
    #contourmax = contour[0][:, 0, :]#保留区域面积最大的轮廓点坐标
    bg = np.ones(dst.shape, np.uint8) *255#创建白色幕布
    ret = cv2.drawContours(bg,contour[0],-1,(0,0,0),3) #绘制黑色轮廓
    return ret

while(True):
    ret, frame = cap.read()
    #下面三行可以根据自己的电脑进行调节
    src = cv2.resize(frame,(400,350), interpolation=cv2.INTER_CUBIC)#窗口大小
    cv2.rectangle(src, (90, 60), (300, 300 ), (0, 255, 0))#框出截取位置
    roi = src[60:300 , 90:300]  # 获取手势框图
    res = A(roi)  # 进行肤色检测
    cv2.imshow("0",roi)
    
    gray = cv2.cvtColor(res, cv2.COLOR_BGR2GRAY)
    dst = cv2.Laplacian(gray, cv2.CV_16S, ksize = 3)
    Laplacian = cv2.convertScaleAbs(dst)

    contour = B(Laplacian)#轮廓处理
    cv2.imshow("2",contour)

    key = cv2.waitKey(50) & 0xFF
    if key == ord('q'):
            break
cap.release()
cv2.destroyAllWindows()

读取视频前，记得把视频路径换成自己要读取的视频路径。