Local occluded face recognition based on HOG-LBP and sparse representation

一、引言
人脸识别技术是一种基于人脸特征的生物识别技术，广泛应用于安全等领域。 目前大多数人脸识别系统都是在自然条件下基于标准的人脸识别， 但人脸是自然结构目标的一种复杂的细节变化，检测和识别容易受到力量变化、面部表情、手势和面部远离、以及其他因素如帽子、眼镜、围巾等的影响 。面部遮挡是导致识别率下降的主要因素。 因此，具有遮挡的人脸识别是一个需要解决的关键问题， 其困难主要体现在遮挡引起的特征丢失、对准误差和局部混叠[1]。 因此，遮挡人脸识别是模式识别研究中亟待解决和具有挑战性的问题之一。
当人脸被遮挡时，全局特征提取方法可能会将人脸遮挡的局部效应传播到整个人脸图像，因此全局特征提取方法不能直接使用。 现在，处理人脸图像遮挡问题的方法之一是采用局部特征法。 提取面部特征时，某些特征的消失不会影响其他特征的检测和识别。 局部特征广泛应用于解决面部遮挡问题，包括小波变换，加伯小波[2]，HOG，LBP，Gist[3],等。 为了使局部特征更好地反映图像的关键特征，相关学者还提出了一系列适应性学习方法， 如独立分量分析、局部非负矩阵因子法、稀疏主成分分析和鲁棒主成分分析。 Wright等人提出了一种基于稀疏表示的方法(SRC)，将阻塞人脸识别问题作为稀疏表示问题来处理[4]， 将被阻塞的脸建模为扩展字典中的表示， 然后通过搜索训练样本进行最小重建误差的分类。Wu jun等人[5]提出了基于金字塔方向的HOG部分遮挡面部姿态估计算法，Li Jun等[6]提出一种 低秩表示模型， 将RPCA与SRC结合用于人脸识别，提高了遮挡人脸识别的性能。Yang Meng等[7]将Gabor特征引入SRC框架，压缩遮挡字典，降低遮挡人脸图像编码的计算成本。B.Ameur等[8]采用Gabor和LBP进行特征提取，k近邻和稀疏表示分类器(KNN-SRC)进行分类。
在上述研究的启发下，本文提出了基于块HOG-LBP和稀疏表示的局部块人脸识别方法, 该算法首先对提取到的人脸图像的HOG-LBP特征进行分割， 块字典PCA算法对块特征维数进行降维， 使用每个稀疏表示是残差分类识别。 与传统的ORL和AR人脸数据集算法相比，该算法具有较好的识别率和鲁棒性。

二、基本方法
A、HOG特征
定向梯度直方图(HOG)是计算机视觉、模式识别和描述其他局部图像纹理中常用的特征。在一个图像中，局部物体的表示和形状可以用边缘的梯度或方向密度分布来很好地描述。 首先将图像分为大小均匀，连接紧密的区域，称为单元。然后，收集单元中像素点(x，y)的梯度值如下，用于形成边缘的方向直方图， 每个单元格的关键点描述符的组合用于获取图像轮廓纹理信息。如图一所示。

图像中像素点(x，y)的梯度为：

最后将几个单元组成一个块，将每个块中的单元直方图组合起来，将得到的所有块的直方图串联起来，得到HOG特征，如图二所示。 HOG特征是处理图像的每个小连通域，因此对图像的几何和光学变形具有良好的非变形性。

B、LBP特征
局部二值模式(LBP)是描述图像局部纹理特征的有效算子，其用于表征图像纹理的局部空间结构。 由于其具有明显的旋转不变性和灰度不变性等优点，被广泛应用于纹理分类，纹理分割，人脸图像分析等领域。
基本的LBP算子只是在固定半径内进行二进制编码，不能满足不同尺度频率纹理的需要。
为了适应不同尺度的纹理特征，满足灰度和旋转不变性的要求， Ojala等人 通过使用圆域而不是平方域来改进LBP算子，并将域扩展到任何邻域以获得圆形LBP算子，如图三所示。

通过二进制编码和直方图统计，比较每个像素与其邻域像素之间灰度值的差异，LBP算法可以获得LBP特征：

其中，gp为相邻像素的灰度值，gc为中心像素的灰度值，P为邻域内像素数，R为邻域半径，LBP为LBP算子。
为了解决角旋转中的LBP差，t. Ojala 等提出旋转不变局部二进制模式(RILBP)。 计算RILBP如下：

其中RILBP表示旋转不变的LBP算子， ROR(x，i)函数是旋转函数， 表示x周期右的I(I<P)位的移动，如图4。

不同LBP算子对应的特征图如图5所示。

C、PCA降维
主成分分析(PCA)是人脸识别技术中常用的一种方法。 由PCA提取的低维图像保留了原始高维面部图像中的大部分数据或信息。
假设以M×N大小的k个图像作为训练样本，每个图像被视为长度p的列向量，表示为x=(x1，x2，xk)， 然后是图像向量Ψ的m平均值， 即平均脸可以表示为：

平均人脸表示m个图像的相同特征。 为了表示这些图像的不同分量，必须减去相同的特征才能得到m个图像的差异向量，并计算样本协方差矩阵:

根据方程（9）计算协方差矩阵的特征向量，由大到小排列特征向量，形成阴影空间：

D、SRC
一种基于稀疏表示分类器(SRC)的人脸识别技术，将人脸识别问题转换为由训练后的面部图像组成的完整字典中的稀疏表示问题。 为了解决人脸遮挡和误差问题，增加遮挡的鲁棒性， 认为遮挡人脸图像是原始非遮挡人脸图像Y0和遮挡引起的误差e0的组合。 因此，在解决人脸遮挡和误差问题时，强调要考虑如何将误差e0与被测图像y分离。。 数学上，测试样本表示为：

通过求解优化问题可以得到Y=Ax如下：

三、块HOG-LBP-SRC算法
A、块HOG-LBP特征融合

SRC算法对人脸遮挡识别的鲁棒性不理想。在人脸遮挡的情况下，全局特征的提取可能会将人脸遮挡的局部效应传播到整个人脸图像，这将对人脸识别系统产生不利影响。为了处理人脸遮挡的情况，可以考虑将图像分割成块，将人脸遮挡因子划分为不同的子块，并分别单独提取每个子块的特征。遮挡因素较多的子块图像的识别精度会较低，但其他子块不会受到遮挡因素的影响。
从子块中提取LBP特征可以反映其优点，避免由于全局LBP特征的统计而丢失大量的面部信息。 人脸识别主要依靠轮廓，边缘和纹理等特征，LBP只能提取图像的纹理特征，不能提取图像轮廓等边缘特征。然而，HOG特征可以有效地提取图像边缘特征，从而能够很好地表示图像局部边缘特征的梯度大小和方向。 因此，本文采用旋转不变LBP算子和HOG特征进行联合特征提取。将人脸图像划分为m*n子块，分别用rotion不变LBP和HOG特征提取每个子块，分别表示为LBP向量和HOG向量，然后 将这两个特征向量串联起来，形成一个新的特征向量来表示局部人脸特征，如图6所示。

B、算法过程

本文基于块HOG-LBP和稀疏表示的人脸识别方法的算法流程图如图7所示。 该算法首先对训练样本的面部图像和测试样本块HOG-LBP特征进行提取，得到每一块HOG-LBP节点特征的图像。 其次，块特征通过PCA特征子空间投影构建遮挡字典。 最后，通过稀疏表示训练样本字典生成图像的测试样本面部特征向量，根据稀疏表示结果进行分类 输出类别标签。
基于块HOG-LBP和稀疏表示的人脸识别算法的过程如下：
（1）按要求划分训练样本和测试样本；
（2）将训练样本的面部图像划分为m*n块；
（3） 从训练样本的每个子块中提取HOG和LBP特征，并对提取的特征进行融合。
（4） 对人脸图像的每个融合特征向量进行PCA特征降维。
（5） 降维后的特征向量与类别标签一一对应形成字典；
（6） 通过重复上述方法，测试样本中的人脸图像通过块HOGLBP特征提取和PCA变换提取到测试面部子块的特征向量。
（7）使用SRC算法将测试图像的子块特征与相应的字典和rj匹配（j=1,2,…,P）。
（8） 按下列公式计算总重建残差r。最小总重建残差为识别结果， 以及确定类别标签的输出，

字典在一定程度上决定了稀疏矩阵的分解系数，这是影响人脸识别精度的关键因素。 该算法选择合适的训练样本，将其提取到块HOG-LBP特征中，并利用PCA得到的投影向量构造字典。 这样，形成字典的原子数与样本数一致。 此外，由人脸图像的块HOGLBP特征构建的字典保留了图像的轮廓纹理信息。
在实践中，稀疏分解的非零元素也可能发生在其他类别中， 因此，在分类识别阶段构造了每个类别的重构残差I， 并将残差最小的类别确定为测试样本的类别。

四、实验结果与分析
为了验证该方法的有效性，分别在ORL和AR人脸数据库上进行了仿真实验，并对实验结果进行了比较。
A、ORL数据集实验
由英国剑桥的AT&T实验室创建，ORL人脸数据库共有400张面部图像，其中包括40人的每一张10张图像，具有不同的姿势和面部表情。有些人戴眼镜在脸上。 图像分辨率为92×112幅灰度图像，部分图像如图8所示。

本文在ORL人脸数据库下进行了以下实验。
如图10所示。 圆形LBP算子比均匀算子和旋转算子具有更高的识别率。 均匀模式算子最低，圆形LBP算子最好。在HOG特征下，单元=2和块=2具有良好的识别效果。

从表Ⅰ可以看出，33块的HOG-LBP稀疏表示算法的识别率与传统的PCA、LDA和CRC算法相比，有了明显的改进。 表明在光照和表达变化的影响下，该方法在人脸识别中具有较强的鲁棒性。 由于小块特征提取和稀疏分解削弱了光照和姿态对人脸图像的影响，并且提取了最本质的特征，有利于分类识别。

AR人脸库拥有超过4000张126人的人脸图片。 在这个实验中，使用了50名男性和50名女性，每个人有26张照片，总计2600张，有不同的面部表情，照明条件和遮挡。 其中，每个人有6张戴眼镜和围巾的脸的图像，一些图像如图11所示。
为了验证该算法在闭塞人脸中的效果，进行了以下实验：
实验图像切割成灰度图像为165120像素，分别以每人佩戴太阳镜和围巾6幅图像作为测试集样本，然后其余14幅人脸图像作为 训练集样本，将图像划分为1×1、2×2×2、3、3×3、4×4块，得到最优分割，并与传统算法进行比较，实验结果如下。


从表Ⅱ可以看出，将HOG-LBP稀疏表示算法划分为3*3块比其他识别方法更好，该算法的识别率好于传统算法。
说明本文算法在人脸受到遮挡因素影响时，能够很好地通过块HOG-LBP特征反映人脸的基本信息，削弱了图像上局部遮挡的影响。
实验结果表明，该方法具有以下优点：
（1）人脸识别准确率
在不同的人脸数据库中，该方法的识别率高于传统算法。 本文的优点是块HOG-LBP特征提取减少了局部块对人脸图像的影响， 并通过PCA特征提取算法，除了人脸特征外，提取的特征向量还能更好地反映人脸的特征。 通过压缩感知算法的稀疏表示，考虑类和类训练样本的差异。 根据测试图像和样本间最小残差[17]的重建，选择最小残差类别作为最终识别结果。
（2）鲁棒性
测试样本表示为训练样本的线性组合。 对于训练样本中未包含遮挡变化的人脸图像，增加误差e0，通过冗余和稀疏性将遮挡部分与测试图像分离。这可以增加算法的鲁棒性。
参考文献：
[1] LI Xiao-Xin LIANG Rong-Hua. A Review for Face Recognition with Occlusion㸸 From Subspace Regression to Deep Learning [J] Chinese Journal of Computers,2018,41(01):177-207.
[2] Khadhraoui T , Benzarti F , Amiri H . Gabor-feature-based local generic representation for face recognition with single sample per person[C]// 2017 IEEE 15th International Conference on Software Engineering
Research, Management and Applications (SERA). IEEE, 2017.
[3] H. T. M. Nhat and V. T. Hoang, “Feature fusion by using LBP, HOG,GIST descriptors and Canonical Correlation Analysis for face
recognition,” 2019 26th International Conference on Telecommunications (ICT), Hanoi, Vietnam, 2019, pp. 371-375.
[4] J. Wright, A. Y. Yang, A. Ganesh, S. S. Sastry and Y. Ma, Robust Face Recognition via Sparse Representation[J], in IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.
[5] J. Wu et al., “Partially Occluded Head Posture Estimation for 2D Images using Pyramid HOG Features,” 2019 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), Shanghai, China, 2019, pp. 507-512.
[6] Li J, Chang H, Yang J. Learning discriminative low-rank representation for image classification[C]// 2014 International Joint Conference on Neural Networks (IJCNN). IEEE, 2014.
[7] M.Yang, L.Zhang, S.C.K.Shiu, D.Zhang, Gabor feature based robust representation and classification for face recognition with Gaborocclusion dictionary[J], Pattern Recognit,2013, 46(7):1865-1878
[8] B. Ameur, S. Masmoudi, A. G. Derbel and A. Ben Hamida, Fusing Gabor and LBP feature sets for KNN and SRC-based face
recognition[C]//2016 2nd International Conference on Advanced
Technologies for Signal and Image Processing (ATSIP), Monastir, 2016.
[9] Deng W , Hu J , Guo J . Face Recognition via Collaborative
Representation: Its Discriminant Nature and Superposed
Representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(10):2513-2521,
[10] Deng W , Hu J , Guo J . Extended SRC: Undersampled Face Recognition via Intra-Class Variant Dictionary[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(9):1864-1870.
[11] Mendes, O. L. C., Lucena, A. R., Lucena, D. R., Cavalcante, T. S. and Alexandria, A. R. (2019).Automatic Segmentation of Macular Holes in Optical Coherence Tomography Images: A review. Journal of Artificial Intelligence and Systems, 1, 163–185.