（大三）机器学习-主成分分析（PCA）应用于人脸识别

最新推荐文章于 2024-05-17 08:47:33 发布

jmu xzh_0618

最新推荐文章于 2024-05-17 08:47:33 发布

阅读量1.5k

点赞数 19

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/m0_61281610/article/details/135214729

版权

3.1 创建所有训练样本组成的 M×N 矩阵

3.2 计算训练样本的平均值矩阵

3.3 去除平均值，得到规格化后的训练样本矩阵

3.4 计算协方差矩阵

3.5 计算协方差矩阵的特征值和特征向量

3.6 将特征值排序

3.7 保留前K个最大的特征值对应的特征向量

4.2 去除平均值，得到规格化后的识别样本矩阵

1.PCA简介

1.1 PCA基本步骤

主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。

PCA降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到这些维度上，使降维后信息量损失最小。

数据中心化

计算协方差矩阵

计算特征值和特征向量

选择主成分

数据投影

1.2 PCA原理

PCA的详细原理涉及线性代数、协方差矩阵、特征值分解等概念。

1.数据中心化

假设有m个n维数据点，构成一个m×n的矩阵X。首先，计算每个特征的均值，然后将每个数据点都减去对应特征的均值，从而实现数据中心化。

中心化后的数据矩阵： $X_{\text{centered}} = X - \bar{X}$

2.计算协方差矩阵

协方差矩阵反映了不同特征之间的线性关系。协方差矩阵C的元素Cij表示第i个特征和第j个特征之间的协方差。

$C = \frac{1}{m-1} X_{\text{centered}}^T X_{\text{centered}}$

3.特征值分解

对协方差矩阵C进行特征值分解。得到特征值（eigenvalues）λ和对应的特征向量（eigenvectors）V。

$C V = V \Lambda$

其中，V的每一列是一个特征向量，Lambda 是一个对角矩阵，对角线上的元素是特征值。

4.选择主成分

将特征值按降序排列，选择前k个特征值对应的特征向量作为主成分。这k个特征向量构成了一个投影矩阵P。

$P = [v_1, v_2, ..., v_k]$

5.数据投影

用投影矩阵P将中心化后的数据矩阵X映射到新的特征空间，得到降维后的数据矩阵Z。

$Z = X_{\text{centered}} P$

PCA的核心思想是通过特征值分解，找到数据中最重要的主成分方向。这些主成分方向对应于协方差矩阵的特征向量，而特征值表示了在这些方向上的数据变化的大小。

PCA的目标是选择最能表达原始数据方差的方向，以便在保留重要信息的同时实现降维。选择的主成分数（k值）通常是一个由实际问题和计算资源决定的超参数。

2.照片要求

30个人，每人拍摄10张正脸照片，取每个人的7张照片，共210张作为训练数据。那么每个人剩下的3张照片，计算机还没有看过，就可以在计算机认识了每一个人之后用来考研计算机是否真的能够正确识别图像中的人是谁。

这是我创造的30个人的训练集文件，每个trainxx 下又包含7张照片。

这是我创造的30个人的测试集文件，每个testxx 下又包含3张照片。

3.创建训练人脸库的特征脸空间

3.1 创建所有训练样本组成的 M×N 矩阵

创建所有训练样本组成的 M×N 矩阵 trainFaceMat。M 为样本个数，N 为一个训练样本图像所有像素按行相连的像素值，在本次实验中， M = 人数（使用的30个人的人脸数据） * 7（每人7张照片）= 210。

N = 像素点的个数,比如说一张照片大小为 10 * 10, N就为100。在本次实验中，我们把每个人的照片都处理成128 * 128，因此N = 16384。

# 对于每一张照片,首先创建一个列表list,存储本张照片的16384个灰度值,
# 当一个list存储完16384个灰度值后,将list添加至bigList。
# 依次循环210次, bigList就存储了210张照片的灰度值了。
'''
注：这里有一处细节,就是我是在读入每一张照片时,是新创建的列表list。
   而不是在最开始创建list,然后每次读入照片时使用.clear()清空list。
   这里涉及到Python中浅复制的知识,是因为bigList使用append的时候，
   是浅复制的状态，如果之后对列表list操作bigList也会被修改,这样的话
   最后bigList存储的全为最后一张照片的灰度值。
'''
# 最后使用numpy中的函数,将列表bigList转换为矩阵。

bigList = []
# 导入人脸模型库
faceCascade = cv2.CascadeClassifier(r'C:\Python\haarshare\haarcascade_frontalface_alt.xml')
# 遍历30个人
for i in range(1, 31):
    # 遍历每个人的7张照片
	for j in range(1, 8):
		list = []
        # 直接读入灰度照片
		image = cv2.imread("C:\\Users\\tangyitao\\Pictures\\Saved Pictures\\trainFace\\train"
								+ str(i) + "\\train" + str(i) + "" + str(j) + ".jpg", 0)
		faces = faceCascade.detectMultiScale(image, 1.3, 5)
		for (x, y, w, h) in faces:
            # 裁剪人脸区域为 128 * 128 大小
			cutResize = cv2.resize(image[y:y + h, x:x + w], (128, 128),
										interpolation=cv2.INTER_CUBIC)  
        # 遍历图片行数
		for x in range(cutResize.shape[0]):
            # 遍历图片每一行的每一列
			for y in range(cutResize.shape[1]):
                # 将每一处的灰度值添加至列表
				list.append(cutResize[x, y]) 
		bigList.append(list)
print("\n\ntrainFaceMat ")
trainFaceMat = numpy.mat(bigList)  # 得到训练样本矩阵
print("trainFaceMat.shape[0] ",trainFaceMat.shape[0])
print("trainFaceMat.shape[1]",trainFaceMat.shape[1])
print(trainFaceMat)

运行结果：

3.2 计算训练样本的平均值矩阵

计算训练样本的平均值矩阵meanFaceMat,该矩阵大小为1 * N。1 * N 就代表目前算出来的平均值矩阵是一张人脸的数据，这张平均脸其实就是把上面的 M * N 的矩阵trainFaceMat平均化，把这 M 张照片的每一个位置对应的数值加起来，然后再除以 M。可以理解为把一个 M * N 的二维数组的每一列都加起来，变成一个 1 * N 的数组，然后这个数组的每一位都除以 M，最后得到一个 1 * N 的平均值脸。

# numpy中有相关函数，直接调用即可
# axis = 0代表计算每一列的平均值
# axis = 1代表计算每一行的平均值

meanFaceMat = numpy.mean(trainFaceMat, axis=0)  # 每一列的和除行数，得到平均值
print("meanFaceMat \n\n")
print("meanFaceMat.shape[0] ",meanFaceMat.shape[0])
print("meanFaceMat.shape[1] ",meanFaceMat.shape[1])
print(meanFaceMat)

运行结果：

3.3 去除平均值，得到规格化后的训练样本矩阵

计算规格化后的训练样本矩阵 normTrainFaceMat，矩阵大小为 M×N。用我们一开始得到的 M*N 的矩阵 trainFaceMat 减去我们的平均脸矩阵meanFaceMat，即计算出我每个人的数据跟这个平均脸的差异，我们把计算结果成为差值矩阵。

# trainFaceMat 大小为 M * N, meanFaceMat 大小为 1 * N
# 可直接相减
normTrainFaceMat = trainFaceMat - meanFaceMat
print("\n\n normTrainFaceMat")
print("normTrainFaceMat.shape[0]  ",normTrainFaceMat.shape[0])
print("normTrainFaceMat.shape[1]  ",normTrainFaceMat.shape[1])
print(normTrainFaceMat)

运行结果：

3.4 计算协方差矩阵

计算normTrainFaceMat 的协方差矩阵covariance。

covariance = numpy.cov(normTrainFaceMat)

3.5 计算协方差矩阵的特征值和特征向量

计算协方差矩阵covariance的特征值eigenvalue和特征向量featurevector。

# 求得协方差矩阵的特征值和特征向量
eigenvalue, featurevector = numpy.linalg.eig(covariance)

3.6 将特征值排序

获取特征值按降序排序对应原矩阵的下标。

sorted_Index = numpy.argsort(eigenvalue)

3.7 保留前K个最大的特征值对应的特征向量

特征向量与特征值是相互对应的，我们可以直接根据刚刚得到的特征值排序后对应原序列中的索引来得到排序后的特征向量，公式如下：topk_evecs = featurevector[:, sorted_Index[:-k - 1:-1]] 这是一个由前 k 个特征向量组成的矩阵，一个特征向量可以理解为一个特征，我们取最具有代表性的 k 个特征来构成我们的特征空间。选取前 k 个特征向量的过程我们叫做降维， 降维的目的 是为了抛弃那些对我们计算影响不大的值，减少计算量，只选前 k个而不选排名靠后的原因就是因为后面的数据对我们的影响不大，可以抛弃。 K 可以取150 左右。在这里，我取得是140。

topk_evecs = featurevector[:,sorted_Index[:-140-1:-1]]

3.8 获得训练样本的特征脸空间

获得训练样本的特征脸空间eigenface 。其中： eigenface = normTrainFaceMat' * topk_evecs。

注意这个地方的 normTrainFaceMat 是转置了的，它的右上角有个撇，在 numpy 中要使用 transpose （）方法，对其转置，而“ * ”号代表点乘，在 numpy 中使用 dot （）函数计算得到的矩阵 eigenface 大小为 N×m，每一列是一个长度为 N 的特征脸，共 m 列。

eigenface = numpy.dot(numpy.transpose(normTrainFaceMat), topk_evecs)

3.9 计算训练样本在特征脸空间的投影

训练样本在特征脸空间的投影eigen_train_sample。其中：

eigen_train_sample = np.dot(normTrainFaceMat, eigenface)。

eigen_train_sample = numpy.dot(normTrainFaceMat, eigenface)

eigen_train_sample 为投影样本矩阵，大小为 M×m，每一行为一个训练样本图像在特征脸空间的投影。由于 m<<N，经过投影可获得更能描述训练样本图像特征的描述。

4.人脸识别

4.1 创建测试样本组成的 1×N 矩阵

将测试人脸展开为 1 × N 矩阵 testFaceMat。

# 主要思想和第一步计算trainFaceMat差不多,这里只需要添加一张照片的数据
list = []
faceCascade = cv2.CascadeClassifier(r'C:\Python\haarshare\haarcascade_frontalface_alt.xml')
# fileName 为待识别图片的文件名,读入灰度人脸
image = cv2.imread(fileName, 0)
faces = self.faceCascade.detectMultiScale(self.image, 1.3, 5)
for (x, y, w, h) in self.faces:
	cut = image[y:y + h, x:x + w]
	# 处理成 128 * 128大小的人脸
	cutResize = cv2.resize(cut, (128, 128), interpolation=cv2.INTER_CUBIC)
for x in range(cutResize.shape[0]):
	for y in range(cutResize.shape[1]):
		list.append(cutResize[x, y])
testFaceMat = numpy.mat(list)

4.2 去除平均值，得到规格化后的识别样本矩阵

# 这里减的meanFaceMat 和计算normTrainFaceMat 的meanFaceMat是同一个变量

normTestFaceMat = testFaceMat - meanFaceMat

4.3 计算测试样本在特征脸空间的投影

# 和计算 eigen_train_sample相同，用规格化矩阵去点乘 eigenface即可。

eigen_test_sample = numpy.dot(normTestFaceMat, eigenface)

4.4 计算欧式距离，找到匹配人脸

计算eigen_test_sample 与 eigen_train_sample 中各样本（每行）的欧式距离，距离最小的那个样本则可以认为与待识别样本为同一人。numpy中提供了函数计算欧氏距离, numpy.linalg.norm( )。

# 以 eigen_train_sample[0]与eigen_test_sample的欧式距离赋值 minDistance
minDistance = numpy.linalg.norm(eigen_train_sample[0] - eigen_test_sample)
# num 记录训练集中第几个人与待识别人为同一人
num = 1
# 遍历 eigen_train_sample 的每一行，在此处，eigen_train_sample.shape[0] = 210。
for i in range(1, eigen_train_sample.shape[0]):
    distance = numpy.linalg.norm(eigen_train_sample[i] - eigen_test_sample)
	if minDistance > distance:
		minDistance = distance
        # 30个人中，每个人有7张照片，i是记录的第几张照片
        # 因此记录第几个人的num为 i // 7 + 1。
		num = i // 7 + 1

到这一步，人脸识别的算法就算完成咯！！！

5.实验总结

在这个过程中，通过PCA降维技术，从高维的人脸图像数据中提取主要特征，从而实现了人脸的识别。

数据预处理： 在读取人脸图像之前，使用了Haar级联分类器进行人脸检测，并对检测到的人脸区域进行了裁剪和调整大小，保证每个人脸图像都是相同尺寸的。这是一个常见的预处理步骤，确保输入数据的一致性。

创建训练人脸库的特征脸空间：

通过遍历30个人的每张训练照片，将灰度值存储在一个矩阵中，形成训练样本矩阵trainFaceMat。
计算训练样本的平均值矩阵meanFaceMat，然后将训练样本矩阵规格化，得到normTrainFaceMat。
计算协方差矩阵covariance，并求解协方差矩阵的特征值和特征向量。

特征值排序和降维：

将特征值按降序排序，得到排序后的索引sorted_Index。
选择前k个最大的特征值对应的特征向量，形成降维矩阵topk_evecs。

创建训练样本的特征脸空间：

计算训练样本的特征脸空间eigenface，将规格化后的训练样本矩阵与降维矩阵相乘。

计算训练样本在特征脸空间的投影：

使用规格化后的训练样本矩阵与特征脸空间矩阵相乘，得到训练样本在特征脸空间的投影eigen_train_sample。

人脸识别：

对于测试样本，进行与训练样本相似的处理，得到测试样本在特征脸空间的投影eigen_test_sample。
计算欧式距离，找到与待识别样本距离最小的训练样本，从而进行人脸识别。

声明

本篇博客部分内容根据以下链接学习与参考：

基于PCA方法的人脸识别（Python）_python_划水yi术家-华为云开发者联盟 (csdn.net)

jmu xzh_0618

关注

19
点赞
踩
29

收藏

觉得还不错? 一键收藏
打赏
1
评论
（大三）机器学习-主成分分析（PCA）应用于人脸识别

主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。PCA降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到这些维度上，使降维后信息量损失最小。数据中心化计算协方差矩阵计算特征值和特征向量选择主成分数据投影。
复制链接

扫一扫