人脸识别原理篇

        首先对输入的人脸图像或者视频流进行判断，观测其是否存在人脸，若存在人脸，就需要进一步给出每个脸的位置、大小和各个主要面部器官的位置信息，并根据得到的信息，提取每个人脸所包含的身份特征，将未确定身份的人脸图像和若干已知身份的人脸图像或相应的编码进行对比，输出一系列相似度得分，表明待识别人脸的身份。

CV学习笔记(三十)：人脸识别流程分析 - 知乎 (zhihu.com)

基于数值矩阵的分类或回归问题

 人脸识别技术流程：

人脸图像的采集与预处理-人脸检测-人脸特征提取-人脸识别/活体鉴别。

活体检测：判断捕捉到的人脸是真实人脸还是伪造的人脸攻击（彩色打印的人脸、电子屏幕的人脸数字图像、面具等）。对应分类问题（T或F， 真人或纸张或屏幕或面具）。

不同颜色空间/连续帧微动作/深度学习人脸识别中的活体检测算法综述 - 知乎 (zhihu.com)

1、 人脸图像的采集：批量导入和实时采集

2、人脸图像的预处理：

1）人脸对准（端正图像）

2）光线补偿（均匀亮度调整）、灰度变换、直方图均衡化、归一化

图像直方图：图像强度分布的图形表示，量化每个强度的像素值。

直方图均衡化：提高图像对比度，以扩大强度范围。将一个分布(给定的直方图)映射到另一个分布(强度值的更宽和更均匀的分布)。

归一化：使预处理的数据被限定在一定的范围内，从而消除奇异样本数据导致的不良影响。

3）几何校正、中值滤波、锐化

3、人脸检测：

人脸关键点检测（人脸对齐）：给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等（轮廓点/角点）。

人脸关键点检测总结_人脸关键点综述-CSDN博客

关键点的集合称为形状，形状包含关键点的位置信息。表示形式如下：

（1）绝对形状：关键点相对于整张图像。取值范围[0,w]或[0,h]。

（2）相对形状，取值范围[0,1]。

人脸关键点检测方法分为两种：参数化和非参数化。

（1）参数化方法：数据服从某种特定概率分布，高斯模型、高斯混合模型。

①基于局部的方法：独立考虑每个关键点周围的变化，通过从训练中学习到的全局形状来检测人脸关键点。

②基于全局的方法：从整体对外观进行建模。

（2）非参数化方法：无分布，其假设数据不是从给定的概率分布得出的。随训练数据量的增加而增加。

①基于图模型的方法：设计树形结构或马尔科夫随机场对关键点进行建模。

②基于级联回归的方法：从粗到细的方法直接对外观进行建模。

③基于深度学习的方法：利用神经网络非线性映射能力学习面部图像到关键点的映射。

2013年，Sun开创深度学习人脸关键点检测的先河，首次将CNN应用到人脸关键点定位上。

通过人脸关键点检测（ASM、AAM、DCNN 、TCDCN.......）得到的人脸的关键点坐标，再根据人脸的关键点坐标调整人脸的角度对齐。由于尺寸不一、人脸区域大小不同、角度不同，需坐标转换，对人脸图像进行归一化操作。解决尺度变化、旋转变化、姿态变化等问题，减弱这些因素引起的特征点偏移。深度学习之视频人脸识别系列二：人脸检测与对齐 - 人工智能遇见磐创 - 博客园 (cnblogs.com)

 ASM（Active Shape Model）算法：

基于特征点分布模型提取，包括train和test两部分（形状建模build和形状匹配fit）。

步骤：人工标定训练集->对齐、构建形状模型->搜索匹配

①标定顺序要一致，有序。

②对齐：通过缩放（缩放幅度参数s）、旋转（旋转参数theta）和平移（平移参数矩阵t）接近基准图像。

构建局部特征：PCA处理，为每个关键点构建局部特征。一般使用梯度特征，防光照。

 PCA主成分分析：无监督学习方法，利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，属于降维方法。主成分分析主要用于发现数据中的基本结构，及数据量中变量之间的关系。

主成分分析-PCA - 知乎 (zhihu.com)

③形状搜索：计算眼睛的位置，做尺度旋转变化，对齐人脸；在各个点附近搜索，匹配每个局部关键点，得到初步形状；再用平均人脸修正匹配结果；迭代直至收敛。

 检测方法：基于肤色模型的检测（结合性低）、基于边缘特征的检测（复杂背景误检率高）、基于统计理论方法（Adaboost算法）。

关键点数：人脸关键点综述 - 知乎 (zhihu.com)

4点/5点/6点：

21点/29点：

68点：

Dlib 库关键点序号

106/186关键点

常用数据集：

 ①LFPW数据集：1132train+300test，大多数为正面人脸图像，每个人脸标定29个关键点。

②ALFW数据集：25993，21关键点。

③AFW数据集：205，背景高度混乱，人脸比例和姿势都有很大的变化，每张图像有6个关键点和边界框。

④300-W混合数据集：68关键点。

⑤COFW数据集：LFPW的845+500遮挡train，507遮挡严重test，29关键点。

⑥MVFW数据集：多视角人脸数据集，2050train+450test，68关键点。

⑦OCFW数据集；2951未遮挡train+1246遮挡test，68关键点。

评价指标：

基于两眼间的距离进行人脸大小的标准化。

分子表示估计值与真实值的欧式距离，分母表示双眼距离，即两眼中心的欧式距离。 

人脸检测方法：一文带你了解人脸检测算法的类型及其工作原理-CSDN博客

①基于知识：一张脸必须有一个鼻子、眼睛、嘴巴，彼此之间有已定的距离和位置。

②基于特征：提取人脸结构特征定位人脸。分类器训练，区分面部和非面部区域。

③模板匹配：使用预定义或参数化的人脸模板，通过模板和输入图像之间的相关性来定位或检测人脸。

④基于外观：依赖于一组委托人脸图像来找出人脸模型，依赖于统计分析和机器学习技术。

1）基于特征脸：人脸识别的算法，主成分分析表示人脸。

2）基于分布：PCA和Fisher判别式等算法用于定义表示面部模式的子空间。从背景中识别目标。

3）神经网络：

4）支持向量机：线性分类器。

5）Winnows的稀疏网络：由两个线性单元或目标节点组成的稀疏网络；面部图案/非面部图案。

6）朴素贝叶斯分类器：根据训练中一系列模式的出现频率来计算一张脸出现在图片中的概率。

7）信息理论方法：马尔科夫随机场（MRF），使用KL散度最大化类之间的区分。

4、人脸特征提取：

传统方法：局部二值模式（LBP）、主成分分析（PCA）、线性判别分析（LDA）等。处理像素点，提取特征向量。

深度学习：对人脸图像进行学习和特征提取。

1）基于知识的表征方法（几何特征法）：根据人脸器官的形状描述以及距离特性获得人脸分类的特征数据（欧氏距离、曲率、角度等）。

2）基于代数特征或统计学习的表征方法：高维->低维，表征方法：线性投影/非线性投影。

5、匹配与识别

提取人脸特征值数据与数据库中存储的特征模板进行搜索匹配，设定阈值，比较，判断。

1）基于人脸统计特征统计学的识别方法：降维算法，消除分量的关联性。（LBP/Fisher）

2）基于几何特征的方法：分析人脸器官特征点及其之间的拓扑关系，速度快，受姿态表情影响严重。

3）基于线段Hausdorff距离（LHD）的方法：提取人脸灰度图像中的线段图。大表情效果差。（Canny算子提取轮廓）

4）基于连接机制：人工神经网络（ANN）和支持向量机（SVM）

人脸识别原理与模型方法综述 - 知乎 (zhihu.com)