OpenCV学习实践---人脸识别

1 绪论

opencv支持3种人脸识别的算法，分别是：

1. Eigen Faces PCA（特征脸方法）
2. Fisher Faces LDA（线性判别分析）
3. Local Binary Pattern Histograms(LBP 局部二值模式直方图)

2 原理介绍

2.1 EigenFaces原理简介

Eigenfaces就是特征脸的意思，是一种从主成分分析（Principal Component Analysis，PCA）中导出的人脸识别和描述技术。特征脸方法的主要思路就是将输入的人脸图像看作一个个矩阵，通过在人脸空间中一组正交向量，并选择最重要的正交向量，作为“主成分”来描述原来的人脸空间。为了更好地理解特征脸方法，需要先了解PCA的主要过程。

2.1.1 PCA主要过程

在很多应用中，需要对大量数据进行分析计算并寻找其内在的规律，但是数据量巨大造成了问题分析的复杂性，因此我们需要一些合理的方法来减少分析的数据和变量同时尽量不破坏数据之间的关联性。于是这就有了主成分分析方法，PCA作用：
数据降维。减少变量个数；确保变量独立；提供一个合理的框架解释。
去除噪声，发现数据背后的固有模式。

PCA的主要过程：
1）特征中心化：将每一维的数据（矩阵A）都减去该维的均值，使得变换后（矩阵B）每一维均值为0；
2）计算变换后矩阵B的协方差矩阵C；
3）计算协方差矩阵C的特征值和特征向量；
4）选取大的特征值对应的特征向量作为”主成分”，并构成新的数据集；

2.1.1特征脸方法

特征脸方法就是将PCA方法应用到人脸识别中，将人脸图像看成是原始数据集，使用PCA方法对其进行处理和降维，得到“主成分”——即特征脸，然后每个人脸都可以用特征脸的组合进行表示。这种方法的核心思路是认为同一类事物必然存在相同特性（主成分），通过将同一目标（人脸图像）的特性寻在出来，就可以用来区分不同的事物了。人脸识别嘛，就是一个分类的问题，将不同的人脸区分开来。特征脸方法的过程（先计算特征脸，然后识别人脸）：
将训练集中的N个人脸拉成一列（reshape(1,1)），然后组合在一起形成一个大矩阵A。若人脸图像大小为m * m，则矩阵A的维度是m * m * N；
将N个人脸在对应的维度求平均，得到一个“平均脸”；
将矩阵A中N个图像都减去“平均脸”，得到新矩阵B；
计算B的协方差矩阵；
计算协方差矩阵的特征值和特征向量（特征脸）；
将训练集图像和测试集图像都投影到特征向量空间中，再使用聚类方法（最近邻或k近邻等）得到里测试集中的每个图像最近的图像，进行分类即可。
在opencv中void EigenFaceRecognizer::train();就是对训练集进行处理最终得到特征向量和阈值的过程，其中的阈值用于后面对测试图像的识别。int EigenFaceRecognizer:: predict(InputArray src) const;是对测试图像进行识别。

特征脸识别的局限性
要让系统准确识别需要保证人脸图像满足：
待识别图像中人脸尺寸接近特征脸中人脸的尺寸；
待识别人脸图像必须为正面人脸图像。
若不满足此条件，识别错误率很高。从PCA方法的过程可以看出，特征脸识别的方法是以每张人脸的一个维度（可以看出是矩阵的一列）为单位进行处理的，求得的特征向量（特征脸）中包含训练集每个纬度的绝大部分信息。但是若测试集中人脸尺寸不同，那么与特征脸中维度的也就没法对应起来。

原理图：

2.2 FisherFaces原理简介

这里就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自然语言处理领域， LDA是隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），是一种处理文档的主题模型。本文只讨论线性判别分析，因此后面所有的LDA均指线性判别分析。

LDA思想：
LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的，这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”，如下图所示。 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

LDA小结
LDA算法既可以用来降维，又可以用来分类，但是目前来说，主要还是用于降维。在进行图像识别相关的数据分析时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。
优点
1）在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。
2）LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。
缺点：
1）LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。
2）LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以绕过这个问题。
3）LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好。
4）LDA可能过度拟合数据。

原理图：

2.3 Local Binary Pattern Histograms 原理简介

LBPH(Local Binary PatternsHistograms)局部二进制编码直方图，建立在LBPH基础之上的人脸识别法基本思想如下：首先以每个像素为中心，判断与周围像素灰度值大小关系，对其进行二进制编码，从而获得整幅图像的LBP编码图像；再将LBP图像分为个区域，获取每个区域的LBP编码直方图，继而得到整幅图像的LBP编码直方图，通过比较不同人脸图像LBP编码直方图达到人脸识别的目的,其优点是不会受到光照、缩放、旋转和平移的影响。
原理图：

3 C++实现cvs文件获取

人脸识别的过程就是对人脸图像进行训练然后读取人脸并进行识别。在训练时，计算机会对每张人脸的多张图像进行特征提取，然后根据特征值来区分不同的人脸。然而计算机并不知道两种不同的人脸彼此是哪张，因此需要告诉预先告诉计算机一个标签——区分不同的人脸。cvs文件就是包含人脸图像路径和标签的文件，格式如下：

E:\cvpicture\face\face_400.jpg;0
E:\cvpicture\face\face_410.jpg;0
E:\cvpicture\face\face_430.jpg;0
E:\cvpicture\face\face_440.jpg;1
E:\cvpicture\face\face_450.jpg;0
E:\cvpicture\face\face_460.jpg;0
E:\cvpicture\face\face_470.jpg;0
E:\cvpicture\face\face_480.jpg;0
E:\cvpicture\face\face_490.jpg;0
E:\cvpicture\face\face_500.jpg;0
E:\cvpicture\face\face_510.jpg;0
E:\cvpicture\face\face_520.jpg;0
E:\cvpicture\face\face_530.jpg;0
E:\cvpicture\face\face_550.jpg;0
E:\cvpicture\face\face_560.jpg;0
E:\cvpicture\face\face_570.jpg;0
...

逗号之前的表示人脸图像的路径；逗号之后0的表示标签。

这里使用c++实现cvs文件的输出：

#include<iostream>
#include<io.h>
#include <fstream>
#include <sstream>
#include <string>
#include <vector>

using namespace std;
const char path[100] = "E:\\cvpicture\\face\\*.