本篇博客作为入门篇,介绍人脸识别及集中建议的人脸识别算法。
目录
一、人脸识别是什么
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术,通常也叫做人像识别、面部识别。
二、人脸检测的两种模式
1.人脸区域检测
人脸区域检测,仅仅是将可能产生的人脸范围,用几何图形标识出来。
例如:
2.人脸特征点检测
有5点、51点、68点三种特征点数量检测。
例如:
三、简单的例子
1、仅使用opencv
准备工具:安装opencv-python
pip install opencv-python
需要包:
'Python路径下/Lib/site-packages/
cv2/data/haarcascade_frontalface_default.xml'
haarcascade_frontalface_default.xml的功能:识别人脸(frontalface:额面)
在后续有截图中可以看到opencv-python其实提供了很多的不同检测。
例如这篇文章中讲到了笑脸和人脸的同时检测(其实运用到了另外一个smile.xml)
CV:利用cv2自带两步法haarcascade_frontalface_default.xml、_smile.xml实现对人脸、笑脸同时检测
代码如下:
import cv2
def detect(filename):
face_cascade = cv2.CascadeClassifier(r'C:\Users\Bryce gu\PycharmProjects\pythonProject1\venv\Lib\site-packages\cv2\data\haarcascade_frontalface_default.xml')
img = cv2.imread(filename)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(gray, 1.3, 5)
for (x, y, w, h) in faces:
img = cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)
cv2.imshow('Person Detected!', img)
cv2.waitKey(0)
cv2.destroyAllWindows()
if __name__ == '__main__':
detect(r'C:\Users\Bryce gu\Desktop\test.jpg')
看到opencv的结果截图:
2、使用FR(face_recognition)
请读者注意,在这一段中,默认已经安装相应最新版本的opencv和python。
准备工具:dlib和face_recognition
pip install dlib
pip install face_recognition
请读者注意,如果在pip install上述的dlib和face_recognition时出现了问题,也许是某些相关依赖尚未安装,可以自己根据报错内容安装相应依赖。
笔者在安装时遇到了cmake没有安装的情况。
使用pip install cmake即可。
详细内容可以参照其他文档:
代码如下:
import face_recognition
import cv2
image = face_recognition.load_image_file(r"C:\Users\Bryce gu\Desktop\test.jpg")
face_locations_noCNN=face_recognition.face_locations(image)
# A list of tuples of found face locations in css (top, right, bottom, left) order
# 因为返回值的顺序是这样子的,因此在后面的for循环里面赋值要注意按这个顺序来
print("face_location_noCNN:")
print(face_locations_noCNN)
face_num2=len(face_locations_noCNN)
print(face_num2) # The number of faces
# 到这里为止,可以观察两种情况的坐标和人脸数,一般来说,坐标会不一样,但是检测出来的人脸数应该是一样的
# 也就是说face_num1 = face_num2; face_locations_useCNN 和 face_locations_noCNN 不一样
org = cv2.imread(r"C:\Users\Bryce gu\Desktop\test.jpg")
img = cv2.imread(r"C:\Users\Bryce gu\Desktop\test.jpg")
cv2.imshow(r"C:\Users\Bryce gu\Desktop\test.jpg",img) # 原始图片
for i in range(0,face_num2):
top = face_locations_noCNN[i][0]
right = face_locations_noCNN[i][1]
bottom = face_locations_noCNN[i][2]
left = face_locations_noCNN[i][3]
start = (left, top)
end = (right, bottom)
color = (0,255,255)
thickness = 2
cv2.rectangle(org, start, end, color, thickness)
cv2.imshow("no cnn ",org)
cv2.waitKey(0)
cv2.destroyAllWindows()
# # use CNN
# face_locations_useCNN = face_recognition.face_locations(image,model='cnn')
# model – Which face detection model to use. “hog” is less accurate but faster on CPUs.
# “cnn” is a more accurate deep-learning model which is GPU/CUDA accelerated (if available). The default is “hog”.
# print("face_location_useCNN:")
# print(face_locations_useCNN)
# face_num1=len(face_locations_useCNN)
# print(face_num1) # The number of faces
# for i in range(0,face_num1):
# top = face_locations_useCNN[i][0]
# right = face_locations_useCNN[i][1]
# bottom = face_locations_useCNN[i][2]
# left = face_locations_useCNN[i][3]
#
# start = (left, top)
# end = (right, bottom)
#
# color = (0,255,255)
# thickness = 2
# cv2.rectangle(img, start, end, color, thickness) # opencv 里面画矩形的函数
# # Show the result
# cv2.imshow("useCNN",img)
看到使用FR技术的运行结果如下:
3、使用人脸特征点技术
Dlib有专门的函数和模型,能够实现人脸68个特征点的定位。
找到特征点后,就可以通过图像的几何变换(仿射、旋转、缩放),使各个特征点对齐(将眼睛、嘴等部位移到相同位置)。
准备工具:下载包shape_predictor_68_face_landmarks.dat
如果需要该下载包,可以留言,私信我。
代码如下:
#coding=utf-8
import cv2
import dlib
path = r"C:\Users\Bryce gu\Desktop\test.jpg"
img = cv2.imread(path)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
#人脸分类器
detector = dlib.get_frontal_face_detector()
# 获取人脸检测器
predictor = dlib.shape_predictor(r"C:\Users\Bryce gu\PycharmProjects\pythonProject1\venv\Lib\site-packages\shape_predictor_68_face_landmarks.dat")
dets = detector(gray, 1)
for face in dets:
shape = predictor(img, face) # 寻找人脸的68个标定点
# 遍历所有点,打印出其坐标,并圈出来
for pt in shape.parts():
pt_pos = (pt.x, pt.y)
cv2.circle(img, pt_pos, 2, (0, 255, 0), 1)
cv2.imshow("image", img)
cv2.waitKey(0)
cv2.destroyAllWindows()
运行结果如下:
四、后续
1、opencv、FR的比较
GitHub项目:face_recognition
该项目目前star数超过3万,是GitHub上最主流的人脸识别工具包之一。
Face_recognition主要参考了OpenFace项目以及谷歌的facenet。
•世界上最简洁的人脸识别库,可以使用Python和命令行工具提取、识别、操作人脸。
•本项目的人脸识别是基于业内领先的C++开源库dlib中的深度学习模型,用Labeled Faces in the Wild人脸数据集进行测试,有高达99.38%的准确率。但对小孩和亚洲人脸的识别准确率尚待提升。
opencv对于侧脸可能并不能有很高的检测效率!
但是opencv提供了多种可以检测的模板
这包括我们刚才使用过的haarcascade_frontalface_default.xml,是检测正脸的默认xml。感兴趣的读者可以使用opencv的其他功能,例如检测眼睛的haarcascade_eye.xml等。
2、对齐及特征向量提取
根据上一步检测到的特征点,进行平移旋转等操作,将人脸位于正面,便于机器识别。
每个人脸识别系统都有自己的人脸数据库,该数据库包含人脸特征向量和对应的信息。
于是可以以此来进行人脸匹配。
这也同时运用在视频的人脸智能匹配中,相信很多人在生活中也用过这个功能。