在python中利用OpenCV包实现人脸识别

一.实验环境

1.python3.6环境，numpy包，OpenCV包，pillow包
2.联想T470笔记本电脑，win10系统
3.在测试目录下新建两个文件夹，一个是Facedata用于存放采集的样本图片，另一个是face_trainer用于存放人脸识别器训练后的模型数据。
注：我的软件环境配置，全部在anaconda上完成的配置和管理的，非常方便。

二.实验思路

1.因为我们是在单机上进行人脸识别，首先是采集样本数据，即通过计算机摄像头采集一些样本信息作为模型的训练集；
2.搜集到足够的训练样本后，第二步是建立模型，利用训练样本对模型进行训练，获取模型结果；我们使用 LBPH（LOCAL BINARY PATTERNS HISTOGRAMS）人脸识别器，它由 OpenCV 提供，训练后的结果就是每一位样本者面部图片特征的数据化，然后存储在我们事前定义的 face_trainer 目录下；
3.经过前两步，我们已经训练好了人脸识别器，这一步就进行人脸的识别。我们将通过摄像头捕捉一个新人脸，如果这个人的面孔之前被捕捉和训练过，我们的识别器将会返回其预测的 id 和索引，并展示识别器对于该判断有多大的信心。

三.实验过程

1.首先我们进行人脸数据的采集。

#人脸数据搜集
import cv2
import os
# 调用笔记本内置摄像头，所以参数为0，如果有其他的摄像头可以调整参数为1，2

cap = cv2.VideoCapture(0)

face_detector = cv2.CascadeClassifier(r'D:\kewill\anaconda\pkgs\libopencv-3.4.2-h20b85fd_0\Library\etc\haarcascades\haarcascade_frontalface_default.xml')

face_id = input('\n enter user id:')

print('\n Initializing face capture. Look at the camera and wait ...')

count = 0

while True:

    # 从摄像头读取图片

    sucess, img = cap.read()

    # 转为灰度图片

    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # 检测人脸

    faces = face_detector.detectMultiScale(gray, 1.3, 5)

    for (x, y, w, h) in faces:
        cv2.rectangle(img, (x, y), (x+w, y+w), (255, 0, 0))
        count += 1

        # 保存图像
        cv2.imwrite("C:\\Users\\wangkewang\\ML\\Facedata\\User." + str(face_id) + '.' + str(count) + '.jpg', gray[y: y + h, x: x + w])

        cv2.imshow('image', img)

    
    

    k = cv2.waitKey(1)

    if k == 27:   # 通过esc键退出摄像
        break

    elif count >= 100:  # 得到100个样本后退出摄像
        break

# 关闭摄像头
cap.release()
cv2.destroyAllWindows()

注意：
1）haarcascade_frontalface_default.xml路径和图片存放Facedata文件夹的路径不要带有中文，不然会出错。
2）录人脸的时候会提示输入编号，计算机默认从0开始录，依次递增的录。
3）人脸采集时间和采集的数有关系，程序运行的时候对着摄像头录人脸，中途退出按esc.
4）如果报错error: (-215:Assertion failed) !empty() in function 'cv::CascadeClassifier::detectMultiScale’可能是文件路径不对，不行就换下.XML的位置，或者清一下kernel，多试几次。

---

2.训练人脸识别器。
实验中使用的人脸识别器是LBPH(Local Binary Patterns Histograms)局部二进制编码直方图。
建立在LBPH基础之上的人脸识别法基本思想如下：首先以每个像素为中心，判断与周围像素灰度值大小关系，对其进行二进制编码，从而获得整幅图像的LBP编码图像；再将LBP图像分为 个区域，获取每个区域的LBP编码直方图，继而得到整幅图像的LBP编码直方图，通过比较不同人脸图像LBP编码直方图达到人脸识别的目的,其优点是不会受到光照、缩放、旋转和平移的影响。

#人脸模型训练
import numpy as np
from PIL import Image
import os
import cv2
# 人脸数据路径
path = 'Facedata'

recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier(r'D:\kewill\anaconda\pkgs\libopencv-3.4.2-h20b85fd_0\Library\etc\haarcascades\haarcascade_frontalface_default.xml')

def getImagesAndLabels(path):
    imagePaths = [os.path.join(path, f) for f in os.listdir(path)]  
    faceSamples = []
    ids = []
    for imagePath in imagePaths:
        PIL_img = Image.open(imagePath).convert('L')   # convert it to grayscale
        img_numpy = np.array(PIL_img, 'uint8')
        id = int(os.path.split(imagePath)[-1].split(".")[1])
        faces = detector.detectMultiScale(img_numpy)
        for (x, y, w, h) in faces:
            faceSamples.append(img_numpy[y:y + h, x: x + w])
            ids.append(id)
    return faceSamples, ids


print('Training faces. It will take a few seconds. Wait ...')
faces, ids = getImagesAndLabels(path)
recognizer.train(faces, np.array(ids))

recognizer.write(r'face_trainer\trainer.yml')
print("{0} faces trained. Exiting Program".format(len(np.unique(ids))))

注意：
实验前需在代码文件路径下新建模型输出存放文件夹face_trainer。

---

3.人脸识别环节
本环节是利用训练好的人脸识别器进行人脸识别。
预测过程就比较简单了，首先将待查询点图像进行lbp编码并生成空间直方图，然后线性暴力的计算直方图的距离，最终输出距离最小的预测类别。
compareHist函数
通过cv::compareHist函数来评估两个直方图有多么不同、或者多么相似，返回测量距离。
相似度衡量的办法目前支持4种：
– CV_COMP_CORREL Correlation相关系数，相同为1，相似度范围为[ 1, 0 )
– CV_COMP_CHISQR Chi-Square卡方，相同为0，相似度范围为[ 0, +inf )
– CV_COMP_INTERSECT Intersection直方图交,数越大越相似，相似度范围为[ 0, +inf )
– CV_COMP_BHATTACHARYYA Bhattacharyya distance做常态分别比对的Bhattacharyya 距离，相同为0,，相似度范围为[ 0, +inf )

#人脸识别
import cv2

recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('face_trainer/trainer.yml')
faceCascade = cv2.CascadeClassifier(r'D:\kewill\anaconda\pkgs\libopencv-3.4.2-h20b85fd_0\Library\etc\haarcascades\haarcascade_frontalface_default.xml')
font = cv2.FONT_HERSHEY_SIMPLEX

idnum = 0

names = ['wangkewang', 'Bob']

cam = cv2.VideoCapture(0)
minW = 0.1*cam.get(3)
minH = 0.1*cam.get(4)

while True:
    ret, img = cam.read()
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.2,
        minNeighbors=5,
        minSize=(int(minW), int(minH))
    )

    for (x, y, w, h) in faces:
        cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2)
        idnum, confidence = recognizer.predict(gray[y:y+h, x:x+w])

        if confidence < 100:
            idnum = names[idnum]
            confidence = "{0}%".format(round(100 - confidence))
        else:
            idnum = "unknown"
            confidence = "{0}%".format(round(100 - confidence))

        cv2.putText(img, str(idnum), (x+5, y-5), font, 1, (0, 0, 255), 1)
        cv2.putText(img, str(confidence), (x+5, y+h-5), font, 1, (0, 0, 0), 1)

    cv2.imshow('camera', img)
    k = cv2.waitKey(10)
    if k == 27:
        break

cam.release()
cv2.destroyAllWindows()

注意：停止识别按esc键