笑脸数据集和口罩数据集训练测试

一、HOG，Dlib，卷积神经网络介绍

1、HoG
①方法简介
方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的描述子。通过计算和统计局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。现如今如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。

②主要思想
在一幅图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。其本质是梯度的统计信息，而梯度主要存在于边缘所在的地方。

③实现过程
简单来说，首先需要将图像分成小的连通区域，称之为细胞单元。然后采集细胞单元中各像素点的梯度或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。

④算法优点
与其他的特征描述方法相比，HOG有较多优点。由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是特别适合于做图像中的人体检测的。

HOG特征提取算法的整个实现过程大致如下： 读入所需要的检测目标即输入的image 将图像进行灰度化（将输入的彩色的图像的r,g,b值通过特定公式转换为灰度值） 采用Gamma校正法对输入图像进行颜色空间的标准化（归一化） 计算图像每个像素的梯度（包括大小和方向），捕获轮廓信息 统计每个cell的梯度直方图（不同梯度的个数），形成每个cell的descriptor 将每几个cell组成一个block（以3*3为例），一个block内所有cell的特征串联起来得到该block的HOG特征descriptor 将图像image内所有block的HOG特征descriptor串联起来得到该image（检测目标）的HOG特征descriptor，这就是最终分类的特征向量
2、Dlib
一个机器学习的开源库，包含了机器学习的很多算法，使用起来很方便，直接包含头文件即可，并且不依赖于其他库（自带图像编解码库源码）。 Dlib可以帮助您创建很多复杂的机器学习方面的软件来帮助解决实际问题。目前Dlib已经被广泛的用在行业和学术领域,包括机器人,嵌入式设备,移动电话和大型高性能计算环境。 dlib也是人脸识别常用的一个库，可以检测出人脸上的68个点，并且进行标注，当我们准备自己的人脸数据时，常常用dlib进行数据提取。
3、卷积神经网络
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）。 卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。

二、笑脸数据集划分训练

数据集下载地址：https://github.com/truongnmt/smile-detection
下载好后：

开始分类

import keras
import os, shutil
# The path to the directory where the original
# dataset was uncompressed
original_dataset_dir = 'D:\\smile\\datasets\\train_folder'
# The directory where we will
# store our smaller dataset
base_dir = 'D:\\smile2'
os.mkdir(base_dir)
# Directories for our training,
# validation and test splits
train_dir = os.path.join(base_dir, 'train')
os.mkdir(train_dir)
validation_dir = os.path.join(base_dir, 'validation')
os.mkdir(validation_dir)
test_dir = os.path.join(base_dir, 'test')
os.mkdir(test_dir)
# Directory with our training smile pictures
train_smiles_dir = os.path.join(train_dir, 'smiles')
os.mkdir(train_smiles_dir)
# Directory with our training unsmile pictures
train_unsmiles_dir = os.path.join(train_dir, 'unsmiles')
os.mkdir(train_unsmiles_dir)
# Directory with our validation smile pictures
validation_smiles_dir = os.path.join(validation_dir, 'smiles')
os.mkdir(validation_smiles_dir)
# Directory with our validation unsmile pictures
validation_unsmiles_dir = os.path.join(validation_dir, 'unsmiles')
os.mkdir(validation_unsmiles_dir)
# Directory with our validation smile pictures
test_smiles_dir = os.path.join(test_dir, 'smiles')
os.mkdir(test_smiles_dir)
# Directory with our validation unsmile pictures
test_unsmiles_dir = os.path.join(test_dir, 'unsmiles')
os.mkdir(test_unsmiles_dir)

print('total training smile images:', len(os.listdir(train_smiles_dir)))
print('total training unsmile images:', len(os.listdir(train_unsmiles_dir)))
print('total validation smile images:', len(os.listdir(validation_smiles_dir)))
print('total validation unsmile images:', len(os.listdir(validation_unsmiles_dir)))
print('total test smile images:', len(os.listdir(test_smiles_dir)))
print('total test unsmile images:', len(os.listdir(test_unsmiles_dir)))

分类结果：

使用卷积神经网络：

from keras import layers
from keras import models
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu',
                        input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.summary()

数据预处理：

from keras import optimizers

model.compile(loss='binary_crossentropy',
              optimizer=optimizers.RMSprop(lr=1e-4),
              metrics=['acc'])

from keras.preprocessing.image import ImageDataGenerat