deepface:实现人脸的识别和分析

deepface介绍

deepface能够实现的功能

人脸检测：deepface 可以在图像中检测出人脸的位置，为后续的人脸识别任务提供基础。

人脸对齐：为了提高识别准确性，deepface 会将检测到的人脸进行对齐操作，消除姿态、光照和表情等因素对识别结果的影响。

特征提取：deepface 使用卷积神经网络（CNN）对齐后的人脸图像进行特征提取，将人脸转换为高维特征向量。

人脸识别：通过比较特征向量之间的相似度，deepface 可以识别出图像中的人脸是否属于同一个人。

人脸验证：deepface 可以用于人脸验证任务，即判断给定的两张人脸图像是否属于同一个人。

人脸搜索：deepface 可以在大型人脸数据库中搜索特定人物，通过比较特征向量找到与目标人物最相似的人脸。

人脸跟踪：deepface 可以在视频序列中跟踪人脸，实现实时的人脸识别和分析。

人脸年龄分析：deepface 可以估计图像中的人脸年纪。

人脸表情识别：deepface 可以估计图像中的人脸表情。

人种识别：deepface 可以识别出图像中的人脸属于什么人种。

性别分析：deepface 可以识别出图像中的人脸是什么性别。

deepface功能的具体实现

1.人脸识别：识别两个人人脸是否属于同一个人

api:

各个参数的含义如下：

img1_path 和 img2_path：就是两张图片的路径，当然除了路径，还可以是 numpy 数组或 base64 字符串。verify 函数会将图像上的人脸部分表示为向量，然后计算相似度。如果其中一张图片出现了多张脸，比如 img1_path 里面有一张脸，但 img2_path 里面有三张脸，那么每一张脸都会进行比对，找到最相似的那一个。

model_name：deepface 已经集成了大量顶尖的人脸模型用于训练，比如：

"VGG-Face"、"OpenFace"、"Facenet"、"Facenet512"、"DeepFace"、"DeepID" "Dlib"、"ArcFace"、"SFace"、"Emotion"、"Age"、"Gender"、"Race"

喜欢哪个就用哪个，但是模型需要下载，如果 deepface 检测到当前机器上没有指定的模型，那么会自动下载。所以当前第一次执行上面代码的时候，会下载 VGG-Face 模型（大小有好几百 M）。关于这些模型的区别，有兴趣可以自己了解一下，我们直接使用默认的即可。

detector_backend：检测器后端，负责提供人脸识别算法，因为 deepface 所使用的算法是由其它模块提供的，默认是 opencv。但除了 opencv 之外，还有其它选择。

"opencv", "retinaface", "mtcnn", "ssd", "dlib", "mediapipe"

这些人脸检测器之间的区别，还是很重要的，我们来解释一下。

• "opencv"：最轻量级的人脸检测器，使用不基于深度学习技术的 haar-cascade 算法，因此速度很快，但准确率较低。而为了使 OpenCV 正常工作，需要正面图像，如果脸侧了一下或者局部发生遮挡，准确率就会受到影响。此外也不擅长对眼睛的检测，容易导致对齐问题。目前 DeepFace 使用的默认检测器就是 OpenCV。
• "dlib"：该检测器在后台使用 hog 算法，与 OpenCV 类似，它也不是基于深度学习的，但它的检测和对齐分数相对较高。
• "ssd"：单次检测器，它是一种流行的基于深度学习的检测器，但性能可与 OpenCV 相媲美。只是 SSD 不支持面部特征点，并且依赖于 OpenCV 的眼睛检测模块来对齐，因此尽管其检测性能很高，但对准分数仅为平均水平。
• "mtcnn"：基于深度学习的人脸检测器，并带有面部特征点，所以它的检测和对齐得分都很高但是，但速度比 OpenCV，SSD 和 Dlib 慢。另外 MTCNN 是一种多任务级联卷积神经网络的人脸检测算法，能够同时实现人脸检测、关键点定位和人脸对齐等功能。其对于大尺寸人脸的检测效果较好，并且模型规模相对于 RetinaFace 的较小。
• "retinaface"：一种基于卷积神经网络的人脸检测算法，具有高精度的特点，被公认为是最先进的人脸检测算法，但需要很高的计算能力。相比 MTCNN，检测小尺寸人脸的效果更好。

因此如果你希望结果更加精确，那么使用 RetinaFace 或 MTCNN；如果希望检测速度更快，比如清洗一部分没有人脸的照片，那么可以使用 OpenCV 或 SSD。

• "opencv"：最轻量级的人脸检测器，使用不基于深度学习技术的 haar-cascade 算法，因此速度很快，但准确率较低。而为了使 OpenCV 正常工作，需要正面图像，如果脸侧了一下或者局部发生遮挡，准确率就会受到影响。此外也不擅长对眼睛的检测，容易导致对齐问题。目前 DeepFace 使用的默认检测器就是 OpenCV。
• "dlib"：该检测器在后台使用 hog 算法，与 OpenCV 类似，它也不是基于深度学习的，但它的检测和对齐分数相对较高。
• "ssd"：单次检测器，它是一种流行的基于深度学习的检测器，但性能可与 OpenCV 相媲美。只是 SSD 不支持面部特征点，并且依赖于 OpenCV 的眼睛检测模块来对齐，因此尽管其检测性能很高，但对准分数仅为平均水平。
• "mtcnn"：基于深度学习的人脸检测器，并带有面部特征点，所以它的检测和对齐得分都很高但是，但速度比 OpenCV，SSD 和 Dlib 慢。另外 MTCNN 是一种多任务级联卷积神经网络的人脸检测算法，能够同时实现人脸检测、关键点定位和人脸对齐等功能。其对于大尺寸人脸的检测效果较好，并且模型规模相对于 RetinaFace 的较小。
• "retinaface"：一种基于卷积神经网络的人脸检测算法，具有高精度的特点，被公认为是最先进的人脸检测算法，但需要很高的计算能力。相比 MTCNN，检测小尺寸人脸的效果更好。

因此如果你希望结果更加精确，那么使用 RetinaFace 或 MTCNN；如果希望检测速度更快，比如清洗一部分没有人脸的照片，那么可以使用 OpenCV 或 SSD。

distance_metric：距离（面部嵌入）度量方法，可以是 cosine、euclidean 或 euclidean_l2。

enforce_detection：如果没有检测到人脸时，是否引发异常，可以将其设置为 False。

align：是否执行面部对齐。(使用面部对齐，消除姿态、光照和表情等因素对识别结果的影响。)

normalization：用于预处理图像的归一化技术。

代码实例：
 

results = DeepFace.verify(src_file_path_name,make_file_path_name,model_name="retinaface", detector_backend="retinaface",enforce_detection=False,align=True)

• results["verified"] 是一个布尔值，如果相似度超过某个阈值则返回True，表示系统认为这两张图片是同一个人。
• results["distance"] 是一个数值，通常来说，这个值越小，表明两张图片的相似度越高。

采用不同模型和不同的后端算法阈值的大小均有所不同，

• 对于 FaceNet 模型，阈值可能设置在 0.40 左右。
• 对于 VGG-Face 模型，阈值可能在 0.60 或更高。

 results["distance"]的值越小，代表两个人脸是同一个值

2.人脸识别：识别图片中存在多少个人脸

  results = DeepFace.extract_faces(
        pic,
        detector_backend="retinaface",
        enforce_detection=False)
    #print("result:", results)
    for result in results:
        face_area = result["facial_area"]
        cv2.rectangle(pic, (face_area['x'], face_area['y']),
                      (face_area['x'] + face_area['w'], face_area['y'] + face_area['h']), (255, 0, 0), 3)
    #判断双头结果
    if len(results)>1:
        cv2.imwrite(output_path_name, pic)
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as excutor:
    futures = []
    for imgname in tqdm(imgs_list):
        #遍历图片排除头的图像
        if "_head_" in imgname:
            continue
        #将图片全部加入任务
        path_filename = os.path.join(origin_path,imgname)
        task = excutor.submit(find_face,path_filename)
        futures.append(task)
    count = len(futures)
    print("共记录{}个任务".format(count))
    prad = tqdm(total=count,position=0)
    for future in concurrent.futures.as_completed(futures):
        prad.update(1)
        future.result()

 应用：此种情况一般应用于检测图片中是否出现了多头的情况，这种情况deepface的准确率达到了99%

3.人脸分析：使用deepface分析人的人种，人的性别，人的心情

# 使用deepface对人脸进行分析，作为评判生图合理性的标准之一
import time
from openpyxl.drawing.image import Image
from deepface import DeepFace
import cv2
import openpyxl
import os
from tqdm import tqdm
py_path = os.path.dirname(__file__)
imgs_path = "./inputDIc"
img_dirs = os.listdir(imgs_path)
OUTPUT_FILE =os.path.join(py_path,"analyze_{}.xlsx".format(time.strftime("%Y-%m-%d %H: %M: %S"),time.localtime()))
path_filename = "./Newoutputimages_2/0_head_pic_Anime_0_balanced.png"
wb = openpyxl.Workbook()
ws = wb.active
ws.append(["img","angry","disguest","fear","happy","sad","surprise","neutral","dominant_emotion","age","gender-women","gender-man","dominant_race"])
# 进行遍历
print(img_dirs)
print("共计{}张图片".format(len(img_dirs)))
for img_name in tqdm(img_dirs):
    path_filename = os.path.join(imgs_path,img_name)
    try:
        results = DeepFace.analyze(path_filename, detector_backend="retinaface", enforce_detection=False, align=True)
    except Exception as e:
        print("error:",e)
        ws.append([path_filename])
        continue
    result = results[0]
    ws.append([path_filename, result["emotion"]["angry"], result["emotion"]["disgust"], result["emotion"]["fear"],
               result["emotion"]["happy"], result["emotion"]["sad"], result["emotion"]["surprise"],
               result["emotion"]["neutral"], result["dominant_emotion"], result["age"], result["gender"]["Man"],
               result["gender"]["Woman"], result["dominant_gender"], result["dominant_race"]])

# print(results)
# print(len(results))
# result = results[0]
#加载图片
img = Image(path_filename)
#将分析结果写入excel表格中
wb.save(OUTPUT_FILE)