人脸口罩数据集的模型训练以及戴口罩识别检测

一.理解人脸图像特征的各种方法

1）方向梯度直方图

方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。

1、主要思想：

在一副图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。其本质为：梯度的统计信息，而梯度主要存在于边缘的地方。

Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。

2、实现方法：

首先将图像分成小的连通区域，这些连通区域被叫做细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来，就可以构成特征描述符。

3、性能提高：

将这些局部直方图在图像的更大的范围内（叫做区间）进行对比度归一化，可以提高该算法的性能，所采用的方法是：先计算各直方图在这个区间中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后，能对光照变化和阴影获得更好的效果。

HOG特征的提取与计算步骤

HOG特征的具体提取步骤如下

HOG特征提取的流程图

1、色彩和伽马归一化

为了减少光照因素的影响，首先需要将整个图像进行规范化（归一化）。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。

2、计算图像梯度

计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。

最常用的方法是：简单地使用一个一维的离散微分模板在一个方向上或者同时在水平和垂直两个方向上对图像进行处理，更确切地说，这个方法需要使用滤波器核滤除图像中的色彩或变化剧烈的数据

3、构建方向的直方图

细胞单元中的每一个像素点都为某个基于方向的直方图通道投票。

星型细胞单元

投票是采取加权投票的方式，即每一票都是带有权值的，这个权值是根据该像素点的梯度幅度计算出来。可以采用幅值本身或者它的函数来表示这个权值，实际测试表明： 使用幅值来表示权值能获得最佳的效果，当然，也可以选择幅值的函数来表示，比如幅值的平方根、幅值的平方、幅值的截断形式等。细胞单元可以是矩形的，也可以是星形的。直方图通道是平均分布在0-1800（无向）或0-3600（有向）范围内。经研究发现，采用无向的梯度和9个直方图通道，能在行人检测试验中取得最佳的效果。

4、将细胞单元组合成大的区间

由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。

R-HOG

采取的办法是：把各个细胞单元组合成大的、空间上连通的区间。这样，HOG描述符就变成了由各区间所有细胞单元的直方图成分所组成的一个向量。这些区间是互有重叠的，这就意味着：每一个细胞单元的输出都多次作用于最终的描述器。

区间有两个主要的几何形状——矩形区间（R-HOG）和环形区间（C-HOG）

C-HOG

。R-HOG区间大体上是一些方形的格子，它可以有三个参数来表征：每个区间中细胞单元的数目、每个细胞单元中像素点的数目、每个细胞的直方图通道数目。

5、收集HOG特征

把提取的HOG特征输入到SVM分类器中，寻找一个最优超平面作为决策函数。

2）dlib

Dlib人脸特征检测原理

（1）提取特征点

（2）获取特征数据集写入csv

（3）计算特征数据集的欧氏距离作对比

shape_predictor_68_face_landmarks.dat是已经训练好的人脸关键点检测器。

dlib_face_recognition_resnet_model_v1.dat是训练好的ResNet人脸识别模型。

68特征原理人脸关键点检测

人脸对齐（Face Alignment）基本概念及原理

基本概念：人脸识别（face recognizaton）按顺序可以大体上分为四个部分，即人脸检测（face detection),人脸对齐（face alignment），人脸校验（face verification）和人脸识别（face identification）。 人脸检测就是在一张图片中找到人脸所处的位置，即将人脸圈出来，比如拍照时数码相机自动画出人脸。人脸对齐就是在已经检测到的人脸的基础上，自动找到人脸上的眼睛鼻子嘴和脸轮廓等标志性特征位置。人脸校验就是判断两张脸是不是同一个人。人脸识别就是给定一张脸，判断这张脸是谁。

人脸对齐中的几个关键词：
形状（shape）：形状就是人脸上的有特征的位置，如下图所示，每张图中所有黄点构成的图形就是该人脸的形状。
特征点（landmark）：形状由特征点组成，图中的每一个黄点就是一个特征点。

人脸对齐的最终目的就是在已知的人脸方框（一般由人脸检测确定人脸的位置）上定位其准确地形状。
人脸对齐的算法主要分为两大类：基于优化的方法（Optimization-based method）和基于回归的方法（Regression-based method）。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-COd7OdIl-1594042094105)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200630200327674.png)]

3）卷积神经网络

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）”

对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络 ；在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域 。

卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求

Python3+Dlib+Opencv实现摄像头采集人脸并对表情进行实时分类判读
一. dlib以及opencv-python库安装
1.1 dlib库安装
1.2 opencv-python库安装
二.dlib的68点模型
三.Python实现摄像头人脸检测
3.1 python代码
3.2 运行结果
一. dlib以及opencv-python库安装
1.1 dlib库安装
在Anaconda Prompt下输入以下命令

pip install dlib

如果下载失败，可能是网速太慢，多试几次即可。但如果始终不行可以用另一种安装方法
首先需要从网上下载
dlib：http://dlib.net/ 或者 https://github.com/davisking/dlib
下载完成后，解压缩

2、编译
->打开终端，并且定位在dlib文件夹，使用python setup.py install产生上面的文件夹
在运行上面的命令时可能会遇见以下两种问题：
①在运行的时候会出现找不到cmake的问题
解决方法：
当遇见这个问题的时候，说明你的系统环境中并没有cmake，所以这时候需要你在你的电脑上安装cmake编译环境。
->官网下载安装包：https://cmake.org/download/

->下载完成之后，解压缩，然后将cmake的bin文件夹添加在系统环境路径中。

->添加环境变量

->然后将这两个文件复制到boost_1_66_0根文件夹下：
->同样开启一个命令行，定位到这个文件夹，运行命令：
b2 install
->利用b2编译库文件：
b2 -a –with-python address-model=64 toolset=msvc runtime-link=static
->之前你cmake下载的64位这里（address-model）写64，如果是32位的就把之前的64改成32
->然后将boost添加到环境变量中：
③运行完成之后，重新运行python setup.py install
3、耐心等待，即可获得上面的dlib中的两个文件夹
4、将其添加到python的lib中：
—>例如我的python环境为python2.7，
—>所以将其放在python2-7文件夹的Python2-7\Lib\site-packages中
—>这时，就已经完成了dlib的配置

二.dlib的68点模型
dlib的68点模型，使用网络上大神训练好的特征预测器，用来进行python代码人脸识别的特征预测。
我已经将其上传至CSDN，有需要的同学可以直接点击链接下载face.dat。

三.Python实现摄像头人脸检测
3.1 python代码
Python实现摄像头人脸检测并对表情进行实时分类判读，python代码如下：

“”"
从视屏中识别人脸，并实时标出面部特征点
“”"

import sys
import dlib  # 人脸识别的库dlib
import numpy as np  # 数据处理的库numpy
import cv2  # 图像处理的库OpenCv

class face_emotion():
    def __init__(self):
        # 使用特征提取器get_frontal_face_detector
        self.detector = dlib.get_frontal_face_detector()
        # dlib的68点模型，使用作者训练好的特征预测器
        self.predictor = dlib.shape_predictor("face.dat")

    # 建cv2摄像头对象，这里使用电脑自带摄像头，如果接了外部摄像头，则自动切换到外部摄像头
    self.cap = cv2.VideoCapture(0)
    # 设置视频参数，propId设置的视频参数，value设置的参数值
    self.cap.set(3, 480)
    # 截图screenshoot的计数器
    self.cnt = 0
 
def learning_face(self):
 
    # 眉毛直线拟合数据缓冲
    line_brow_x = []
    line_brow_y = []
 
    # cap.isOpened（） 返回true/false 检查初始化是否成功
    while (self.cap.isOpened()):
 
        # cap.read()
        # 返回两个值：
        #    一个布尔值true/false，用来判断读取视频是否成功/是否到视频末尾
        #    图像对象，图像的三维矩阵
        flag, im_rd = self.cap.read()
 
        # 每帧数据延时1ms，延时为0读取的是静态帧
        k = cv2.waitKey(1)
 
        # 取灰度
        img_gray = cv2.cvtColor(im_rd, cv2.COLOR_RGB2GRAY)
 
        # 使用人脸检测器检测每一帧图像中的人脸。并返回人脸数rects
        faces = self.detector(img_gray, 0)
 
        # 待会要显示在屏幕上的字体
        font = cv2.FONT_HERSHEY_SIMPLEX
 
        # 如果检测到人脸
        if (len(faces) != 0):
 
            # 对每个人脸都标出68个特征点
            for i in range(len(faces)):
                # enumerate方法同时返回数据对象的索引和数据，k为索引，d为faces中的对象
                for k, d in enumerate(faces):
                    # 用红色矩形框出人脸
                    cv2.rectangle(im_rd, (d.left(), d.top()), (d.right(), d.bottom()), (0, 0, 255))
                    # 计算人脸热别框边长
                    self.face_width = d.right() - d.left()
 
                    # 使用预测器得到68点数据的坐标
                    shape = self.predictor(im_rd, d)