人工智能与机器学习——微笑识别和口罩识别

一、人脸图像特征提取方法简介

HOG特征提取步骤

(1)输入图像并检测窗口

将目标图片输入并在视窗检测图片

(2)伽马与色彩归一化

为了减少光照因素的影响，首先需要将整个图像进行规范化（归一化）。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。

(3)计算梯度

计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。

最常用的方法是：简单地使用一个一维的离散微分模板在一个方向上或者同时在水平和垂直两个方向上对图像进行处理，更确切地说，这个方法需要使用滤波器核滤除图像中的色彩或变化剧烈的数据

(4)构造方向直方图

细胞单元中的每一个像素点都为某个基于方向的直方图通道投票。投票是采取加权投票的方式，即每一票都是带有权值的，这个权值是根据该像素点的梯度幅度计算出来。可以采用幅值本身或者它的函数来表示这个权值，实际测试表明： 使用幅值来表示权值能获得最佳的效果，当然，也可以选择幅值的函数来表示，比如幅值的平方根、幅值的平方、幅值的截断形式等。细胞单元可以是矩形的，也可以是星形的。直方图通道是平均分布在0-1800（无向）或0-3600（有向）范围内。经研究发现，采用无向的梯度和9个直方图通道，能在行人检测试验中取得最佳的效果。

(5)合成各细胞单元使区间在空间上连通

把各个细胞单元组合成大的、空间上连通的区间。这样，HOG描述符就变成了由各区间所有细胞单元的直方图成分所组成的一个向量。这些区间是互有重叠的，这就意味着：每一个细胞单元的输出都多次作用于最终的描述器。

(6)HOG特征收集

把提取的HOG特征输入到SVM分类器中，寻找一个最优超平面作为决策函数。

Dlib人脸特征检测

(1)提取特征点

(2)将获取的特征数据集写入csv

(3)计算特征数据集的欧氏距离并做对比

二、笑脸识别

1.下载必备工具及库

下载tensorflow
dlib，Keras均是在Anaconda Prompt窗口下的TensorFlow环境中进行的。

在 Anaconda 中创建 python3.6 版本的TensorFlow环境
在Anaconda Prompt窗口下输入命令

conda create -n tensorflow python=3.6

激活 python3.6 的 tensorflow 环境

activate tensorflow

使用豆瓣镜像安装 tensorflow

pip install tensorflow -i https://pypi.douban.com/simple

激活对应的conda环境

conda activate tensorflow

安装ipykernel

pip install ipykernel -i https://pypi.douban.com/simple

将环境写入notebook的kernel中

python -m ipykernel install --user --name tensorflow --display-name "Python (tensorflow)"

查看是否安装成功

dilb库下载
（根据我的python版本）
下载的dlib.whl文件如下：
dlib-19.7.0-cp36-cp36m-win_amd64.whl

在tensorflow环境下命令下载安装dlib.whl文件

在tensorflow环境下命令下载Keras

pip install keras

2.微笑数据集

运行tensorliow环境之后导包

import keras
keras.__version__
import os

读取训练集的图片，将训练数据和测试数据放入自己创建的文件夹

# The path to the directory where the original
# dataset was uncompressed
riginal_dataset_dir = 'D:\genki4k'

# The directory where we will
# store our smaller dataset
base_dir = 'genki4k'
os.mkdir(base_dir)

# Directories for our training,
# validation and test splits
train_dir = os.path.join(base_dir, 'train')
os.mkdir(train_dir)
validation_dir = os.path.join(base_dir, 'validation')
os.mkdir(validation_dir)
test_dir = os.path.join(base_dir, 'test')
os.mkdir(test_dir)

# Directory with our training smile pictures
train_smile_dir = os.path.join(train_dir, 'smile')
os.mkdir(train_smile_dir)

# Directory with our training unsmile pictures
train_unsmile_dir = os.path.join(train_dir, 'unsmile')
#s.mkdir(train_dogs_dir)

# Directory with our validation smile pictures
validation_smile_dir = os.path.join(validation_dir, 'smile')
os.mkdir(validation_smile_dir)

# Directory with our validation unsmile pictures
validation_unsmile_dir = os.path.join(validation_dir, 'unsmile')
os.mkdir(validation_unsmile_dir)

# Directory with our validation smile pictures
test_smile_dir = os.path.join(test_dir, 'smile')
os.mkdir(test_smile_dir)

# Directory with our validation unsmile pictures
test_unsmile_dir = os.path.join(test_dir, 'unsmile')
os.mkdir(test_unsmile_dir)

复制图片到文件夹中



（就是把微笑与不微笑的照片放在对应文件夹中）

在jupyter中将文件夹的路径引入

train_smile_dir="genki4k/train/smile/"
train_umsmile_dir="genki4k/train/unsmile/"
test_smile_dir="genki4k/test/smile/"
test_umsmile_dir="genki4k/test/unsmile/"
validation_smile_dir="genki4k/validation/smile/"
validation_unsmile_dir="genki4k/validation/unsmile/"
train_dir="genki4k/train/"
test_dir="genki4k/te