深度学习实战(五) 基于MTCNN和Facenet的视频流人脸识别实战

前言：

---

本文开发的是一个完整的视频流人脸识别系统，主要流程如下：

首先，通过openCV抓取摄像头的视频流

第二，通过MTCNN对每帧图片进行人脸检测和对齐，当然考虑到效率我们可以每n个间隔帧进行一次检测

第三，通过facenet预训练模型对第二步得到的人脸进行512维的特征值提取

第四，收集目标数据集来训练自己的分类模型

第五，将第三部得到的512维的特征值作为第四部的输入，然后输出即为我们类别值

准备工作：

---

安装openCV

pip3 install opencv-python

下载facenet，其中src/align下是MTCNN的tensorflow实现及预训练模型

git clone --recursive https://github.com/davidsandberg/facenet.git

LFW数据集下载地址：http://vis-www.cs.umass.edu/lfw/

通过以下命令对LFW数据进行人脸检测和对齐，这里我们获取160*160大小的图像以备后面使用，如果你有自己的数据集，可以忽略，先设置环境变量

export PYTHONPATH=/Users/admin/facenet/src

for N in {1..4}; do python3 /Users/admin/facenet/src/align/align_dataset_mtcnn.py /Users/admin/lfw /Users/admin/lfw_160 --image_size 160 --margin 32 --random_order --gpu_memory_fraction 0.25 & done

第一阶段

---

那么，既然要识别人脸，我们首先要做的就是训练一个二元分类模型，当我们输入人脸进去的时候，它能判断该人脸是不是我们的目标对象，那么我们需要一个已标记数据集，里面有几个目标对象的人脸或者其他人脸，目标人脸我通过以下程序从摄像头分别抓取了一对双胞胎各近300张人脸，这里抓取的时候已经做了人脸对齐处理，后面可以直接用来训练模型，你也可以从LFW数据集随机选取了一些人脸作为“other”类别或者从MS-Celeb-1M数据集选取一些类别作为训练数据集，当然你也可以选取其他数据集。

#  从视频流中采集目标对象的人脸，用于训练分类模型，这个模型用于主程序中摄像头实时视频中人脸识别出目标对象
#  每1帧采集一张人脸，一共采集100个目标对象的样本，使用mtcnn对采集帧进行人脸检测和对齐

import cv2
import sys
import os
import tensorflow as tf
import numpy as np
import align.detect_face
import facenet

video_capture = cv2.VideoCapture(0)
capture_interval = 1
capture_num = 100
capture_count = 0
frame_count = 0
detect_multiple_faces = False #因为是训练目标对象，一次只有一张人脸

#这里引用facenet/src/align/align_dataset_mtcnn.py文件的代码对采集帧进行人脸检测和对齐
minsize = 20 # minimum size of face
threshold = [ 0.6, 0.7, 0.7 ]  # three steps's threshold
factor = 0.709 # scale factor
        
with tf.Graph().as_default():
    gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
    sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options, log_device_placement=False))
    with sess.as_default():
        pnet, rnet, onet = align.detect_face.create_mtcnn(sess, None)

while True:

    ret, frame = video_capture.read()
    
    #每1帧采集一张人脸，这里采样不进行灰度变换，直接保存彩色图
    if(capture_count%capture_interval == 0): 
        
        bounding_box