用树莓派3B+和Python+OpenCV实现实时的人脸检测

（简单易学，新手友好，小白请进，建议收藏）

使用的硬件设备：树莓派3B+，摄像头，电脑显示器，鼠标，键盘

使用的软件设施：Python3，OpenCV3.4.3

参考的文章：https://shumeipai.nxez.com/2018/03/09/（图源）

一、完成配置好树莓派3B+的各种依赖环境和OpenCV包

这一步可以参考我的这篇博客：https://blog.csdn.net/qiuzitao/article/details/96478070

这样配置完连接上电脑显示屏，鼠标，键盘之后我们的树莓派3B+就是一台微型电脑了。（建议一些项目可以先这样测试跑起来，这样你也可以用树莓派打开浏览器百度我的博客了（偷笑），ps：百度qiuzitao即可找到，不用看着win的电脑一个一个看着打，可以直接复制，其他项目同理可得）

安装配置好环境后才能进行下一步操作，下面是这个项目的流程图。（确保每一个步骤没问题后再往下走）

二、调用摄像头模组

在安装好摄像头，连接上显示器之后，我们先来开启调用一下摄像头，测试摄像头的工作，以确认摄像头正常运转。

sudo raspi-config

测试录制视频：

raspivid -o vv.h250 -t 100s

用树莓派自带的IDE运行下列代码，可捕捉PiCam生成的用RGB颜色和灰色模式展示的视频流。按ESC退出运行测试窗口。

import numpy as np
import cv2
 
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
  
while(True):
    ret, frame = cap.read()
    frame = cv2.flip(frame, -1) # Flip camera vertically
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
     
    cv2.imshow('frame', frame)
    cv2.imshow('gray', gray)
     
    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break
 
cap.release()
cv2.destroyAllWindows()

三、人脸检测

人脸检测是人脸识别的基础。你必须先检测到人脸才能在未来与捕捉到的新人脸对比时识别它。

最常见的人脸检测方式是使用 “Haar 级联分类器” 。使用基于 Haar 特征的级联分类器的目标检测是 Paul Viola 和 Michael Jones 2001 年在论文《Rapid Object Detection using a Boosted Cascade of Simple Features》中提出的一种高效目标检测方法。这种机器学习方法基于大量正面、负面图像训练级联函数，然后用于检测其他图像中的对象。这里，我们将用它进行人脸识别。最初，该算法需要大量正类图像（人脸图像）和负类图像（不带人脸的图像）来训练分类器。然后我们需要从中提取特征。好消息是 OpenCV 具备训练器和检测器。如果你想要训练自己的对象分类器，如汽车、飞机等，你可以使用 OpenCV 创建一个，或者去GitHub上下载一个。

如果不想创建自己的分类器，OpenCV 也包含很多预训练分类器，可用于人脸、眼睛、笑容等的检测。相关的 XML 文件可从我提供的百度云网盘下载：haarcascades

1、下载 haarcascade_frontalface_default.xml（训练好的Haar 级联分类器）

百度云盘链接：https://pan.baidu.com/s/1Nrb5NdFlc_z0ExhL5Szz4w 　提取码：hcp2
下载好放到 faceDetection.py 的同级目录下

faceDetection.py

import numpy as np
import cv2
 
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
 
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
 
while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,     
        scaleFactor=1.2,
        minNeighbors=5,     
        minSize=(20, 20)
    )
 
    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]  
 
    cv2.imshow('video',img)
 
    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break
 
cap.release()
cv2.destroyAllWindows()

运行这个faceDetection.py就可以完成人脸检测了，下面是代码参数解析。

2、代码参数解析

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

这行代码是调用别人训练好的分类器（人脸检测就是分类人脸和非人脸），如果你想要分类其他的可以自己去训练一个或者去GitHub上面下载或者关注我的博客。

faces = faceCascade.detectMultiScale(
        gray,     
        scaleFactor=1.2,
        minNeighbors=5,     
        minSize=(20, 20))

这行代码是在循环内部调用摄像头，并以 gray（灰度） 模式加载我们的输入视频。调用分类器函数，向其输入一些参数：

gray 表示输入 grayscale 图像

scaleFactor 表示每个图像缩减的比例大小

minNeighbors 表示每个备选矩形框具备的邻近数量。数字越大，假正类（把人脸预测成非人脸的概率）越少。

minSize 表示人脸识别的最小矩形大小

cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height

for (x,y,w,h) in faces:
    cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
    roi_gray = gray[y:y+h, x:x+w]
    roi_color = img[y:y+h, x:x+w] 

标记好人脸之后，则函数将检测到的人脸的位置返回为一个矩形，左上角 (x,y)，w 表示宽度，h 表示高度 ==> (x,y,w,h)。得到这些位置信息后，我们可以为人脸创建一个ROI感兴趣区域（绘制矩形），用 imshow() 函数呈现结果.

你也可以加入像「眼睛检测」或者「微笑检测」这样的检测器。在这些项目中，你需要把分类器函数和矩形框内加入原有的面部识别区域中，因为在区域外进行识别没有意义。

注意，在树莓派上，分类方法（HaarCascades）会消耗大量算力，所以在同一代码中使用多个分类器将会显著减慢处理速度。在台式机上运行这些算法则非常容易，所以win电脑也可以跑的。

四、眼睛检测、微笑检测

1、眼睛检测

先下载人脸检测分类器（上面有）和眼睛检测分类器。

眼睛检测分类器：

链接：https://pan.baidu.com/s/1mOccrIfkYRJ0t9aix2wwJQ 　提取码：kvlj
下载后放到 faceEyeDetection.py 同级目录下

faceEyeDetection.py

import numpy as np
import cv2

# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eyeCascade = cv2.CascadeClassifier('haarcascade_eye.xml')
 
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height

while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.3,
        minNeighbors=5,      
        minSize=(30, 30)
    )

    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        
        eyes = eyeCascade.detectMultiScale(
            roi_gray,
            scaleFactor= 1.5,
            minNeighbors=10,
            minSize=(5, 5),
            )
        
        for (ex, ey, ew, eh) in eyes:
            cv2.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
               
        cv2.imshow('video', img)

    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break

cap.release()
cv2.destroyAllWindows()

2、微笑检测

先下载人脸检测分类器（上面有）和微笑检测分类器。

微笑检测分类器：

链接：https://pan.baidu.com/s/1eFl-9aIjf4bH5d1Vh6HIYg 　提取码：6emb
下载后放到 faceSmileDetection.py 同级目录下

faceSmileDetection.py

import numpy as np
import cv2

# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
smileCascade = cv2.CascadeClassifier('haarcascade_smile.xml')
 
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height

while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.3,
        minNeighbors=5,      
        minSize=(30, 30)
    )

    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        
        smile = smileCascade.detectMultiScale(
            roi_gray,
            scaleFactor= 1.5,
            minNeighbors=15,
            minSize=(25, 25),
            )
        
        for (xx, yy, ww, hh) in smile:
            cv2.rectangle(roi_color, (xx, yy), (xx + ww, yy + hh), (0, 255, 0), 2)
               
        cv2.imshow('video', img)

    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break

cap.release()
cv2.destroyAllWindows()

3、三个一起来（人脸检测+眼睛检测+微笑检测）

faceSmileEyeDetection.py

import numpy as np
import cv2

# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eyeCascade = cv2.CascadeClassifier('haarcascade_eye.xml')
smileCascade = cv2.CascadeClassifier('haarcascade_smile.xml')

cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height

while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.3,
        minNeighbors=5,      
        minSize=(30, 30)
    )

    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        
        eyes = eyeCascade.detectMultiScale(
            roi_gray,
            scaleFactor= 1.5,
            minNeighbors=5,
            minSize=(5, 5),
            )
        
        for (ex, ey, ew, eh) in eyes:
            cv2.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
               
        
        smile = smileCascade.detectMultiScale(
            roi_gray,
            scaleFactor= 1.5,
            minNeighbors=15,
            minSize=(25, 25),
            )
        
        for (xx, yy, ww, hh) in smile:
            cv2.rectangle(roi_color, (xx, yy), (xx + ww, yy + hh), (0, 255, 0), 2)
        
        cv2.imshow('video', img)

    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break

cap.release()
cv2.destroyAllWindows()