实时人脸识别

实时人脸识别

总述

代码编写有三个步骤：

Step1：采集人脸数据和人脸检测

Step2：训练人脸识别模型

Step3：人脸识别推理

一、安装环境

​ 本文采用需要Python + Opencv + Opencv-contrib的组合，完成后可移植在Linux系统

1. 安装Python3.7

   官网：https://www.python.org/downloads/，推荐版本3.7，第三方库适配多，比较全面

   安装后需要加入系统环境

2. 安装pycharm，此类教程较多，不做过多赘述，社区版足够了

   官网：https://www.jetbrains.com/pycharm/

3. 按照要求安装后需要安装第三方库：opencv-python，采用4.2.0、Opencv-contrib，采用4.5.2

   注意版本，否则会造成版本不匹配出现运行问题

二、调用相机

接下来就测试一下确认相机是否工作正常。在 IDE 上输入以下 Python 代码：

import cv2

cap = cv2.VideoCapture(0) #0表示调用默认相机、1表示调用usb相机
cap.set(3,640) #宽度
cap.set(4,480) #高度

while(True):
    ret,frame = cap.read()
    frame = cv2.flip(frame,1)
    gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
    cv2.imshow('frame',frame)
    cv2.imshow('gray',gray)
    k = cv2.waitKey(30) & 0xff
    if k == 27:            #esc退出
        break

cap.release()
cv2.destroyAllWindows() #释放所用窗口

这段代码可以调用默认Cam，捕获视频流，并且通过黑白模式和RGB模式显示出来。按下Esc即可退出程序。

三、人脸检测

人脸识别中的最基本任务是实现人脸检测，要先在一张图片中捕获到人脸，再去识别图片中的人脸和数据库中人脸数据进行比较。

人脸检测的最常见方法是使用"Haar 分类器"。基于 Haar 功能的级联分类器的对象检测是 Paul Viola 和 Michael Jones 提出的一种有效的对象检测、基于机器学习的方法。

进行人脸检测工作该算法需要大量的正图像（有人脸图像）和负图像（无人脸的图像）来训练分类器，然后从中提取特征。OpenCV 可以进行人脸的训练和推理。如果想训练自己的分类器为任何对象，如汽车，飞机等，也是可以用opencv去训练的。当然如果不想创建自己的分类器，OpenCV 已经包含许多预先训练过的面部、眼睛、微笑等分类器。这些 XML 文件可以从 haarcascades 目录下载。

XML下载网址：opencv/data/haarcascades at master · opencv/opencv · GitHub

代码如下：

import cv2

faceCascade = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')
#引入级联分类器文件
cap = cv2.VideoCapture(0)
cap.set(3,640) #  Width
cap.set(4,480) #  Height

while True:
    ret, img = cap.read()
    img = cv2.flip(img, 1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray, scaleFactor=1.2, minNeighbors=5, minSize=(20, 20))

    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        

    cv2.imshow('video',img)

    k = cv2.waitKey(30) & 0xff
    if k == 27: # 'ESC' 退出
        break

cap.release()
cv2.destroyAllWindows()

其中代码的这一部分是调用我们的分类器功能：

faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.2, 
        minNeighbors=5, 
        minSize=(20, 20))

代码这一部分用来“标记（返回数值）”图像中的面孔，

 for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]

如果发现人脸，它会返回检测到的面部位置，作为左上角（x，y）的矩形，并将"w"作为宽度，将"h"作为高度 = =（x，y，w，h）。如下图：

如果可以实现以上功能，人脸检测功能基本实现，可以运行python代码。效果是这样的:

四、采集人脸数据

让我们开始项目代码的第一阶段。我们在这要存储每个ID的一组照片用来后续进行人脸识别

首先创建一个开发项目：FacialRecognition工程，创建一个数据集Dataset，存储我们的面部标本数据集。并且存储上述的调用默认Cam代码和人脸检测代码：

import cv2
import os

cam = cv2.VideoCapture(0)
cam.set(3, 640) #width
cam.set(4, 480) #height

face_detector = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

##对每个人来说，输入一个数字表面id
face_id = input('\n enter user id end press <return> ==>  ')

print("\n [INFO] Initializing face capture. Look the camera and wait ...")
# 初始化单个采样面数量
count = 0

while(True):

    ret, img = cam.read()
    img = cv2.flip(img, 1) # flip video image vertically
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = face_detector.detectMultiScale(gray, 1.3, 5)

    for (x,y,w,h) in faces:
        cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)     
        count += 1

        # Save the captured image into the datasets folder
        cv2.imwrite("dataset/User." + str(face_id) + '.' + str(count) + ".jpg", gray[y:y+h,x:x+w])

        cv2.imshow('image', img)

    k = cv2.waitKey(100) & 0xff # Press 'ESC' for exiting video
    if k == 27:
        break
    elif count >= 30: # 30个样本后停止视频，也可酌情更改数量
         break

cam.release()
cv2.destroyAllWindows()

对于每个捕获的帧，我们都把他保存在"dataset"目录上的文件。.注意一下，要保存上述文件，必须导入库"os"。每个文件的名称格式：

cv2.imwrite("dataset/User." + str(face_id) + '.' + str(count) + ".jpg", gray[y:y+h,x:x+w])

User.face_id.count.jpg

就像这样：

五、训练模型

现在要把之前存储的各个id号的图片提取特征，然后用来训练识别器。最后识别器上会生成一个yml文件。

首先在终端下载PIL库，函数getImagesAndLabels (path)将从我们刚刚的数据集上收集到ID号和对应的人脸特征

recognizer = cv2.face.LBPHFaceRecognizer_create()

函数recogizer.train()通过刚刚读取的特征去训练我们的人脸识别器。

recognizer.train(faces, np.array(ids))

具体代码如下：

import cv2
import numpy as np
from PIL import Image
import os

# 人脸图像数据库的路径
path = 'dataset'

recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier("haarcascade_frontalface_default.xml");

# 函数来获取图像和标签数据
def getImagesAndLabels(path):

    imagePaths = [os.path.join(path,f) for f in os.listdir(path)]     
    faceSamples=[]
    ids = []

    for imagePath in imagePaths:

        PIL_img = Image.open(imagePath).convert('L') # 将其转换为灰度
        img_numpy = np.array(PIL_img,'uint8')
        iid=os.path.split(imagePath)[-1].split(".")[1]
        print(iid)
        id = int(os.path.split(imagePath)[-1].split(".")[1])
        faces = detector.detectMultiScale(img_numpy)

        for (x,y,w,h) in faces:
            faceSamples.append(img_numpy[y:y+h,x:x+w])
            ids.append(id)

    return faceSamples,ids

print ("\n [INFO] Training faces. It will take a few seconds. Wait ...")
faces,ids = getImagesAndLabels(path)
recognizer.train(faces, np.array(ids))

# 保存训练出的模型于 trainer/trainer.yml
recognizer.write('trainer/trainer.yml')

# 打印训练的序号并结束程序
print("\n [INFO] {0} faces trained. Exiting Program".format(len(np.unique(ids))))

结果：

第六步：人脸识别

人脸识别器已经实现，现在要在相机上捕获人脸。如果此人之前拍摄并训练过他的脸，识别器将做出预测，返回ID名和索引。

使用刚刚训练的识别器模型(加载trainer.yml)，这里使用了新的数组，用姓名代替之前的标号，然后就和刚刚“人脸分类器”的步骤一样去进行人脸识别，并且recognizer.predict将返回每张图片识别后的匹配率。

具体代码如下：

import cv2
import numpy as np
import os 

recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('trainer/trainer.yml')
cascadePath = "haarcascade_frontalface_default.xml"
faceCascade = cv2.CascadeClassifier(cascadePath);

font = cv2.FONT_HERSHEY_SIMPLEX

#初始化身份计数器
id = 0

# 相关id名称：例如==>马塞洛：id=1 等等
names = ['None', 'Chanmo', 'Wang',]

# 初始化和启动实时视频捕获
cam = cv2.VideoCapture(0)
cam.set(3, 640) #  widht
cam.set(4, 480) # height

# 定义最小化到检测框大小被承认为一张脸
minW = 0.1*cam.get(3)
minH = 0.1*cam.get(4)

while True:

    ret, img =cam.read()
    img = cv2.flip(img, 1)

    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

    faces = faceCascade.detectMultiScale( 
        gray,
        scaleFactor = 1.2,
        minNeighbors = 5,
        minSize = (int(minW), int(minH)),
       )

    for(x,y,w,h) in faces:

        cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)

        id, confidence = recognizer.predict(gray[y:y+h,x:x+w])

        #检查是否完美的匹配
        if (confidence < 100):
            id = names[id]
            confidence = "  {0}%".format(round(100 - confidence))
        else:
            id = "unknown"
            confidence = "  {0}%".format(round(100 - confidence))
        
        cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2)
        cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)  
    
    cv2.imshow('camera',img) 

    k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video
    if k == 27:
        break

print("\n [INFO] Exiting Program and cleanup stuff")
cam.release()
cv2.destroyAllWindows()

结果展示：