sklearn学习之：（4）PCA降维算法 + SVM 的分类算法（SVC）

最新推荐文章于 2025-03-20 09:53:51 发布

暖仔会飞

最新推荐文章于 2025-03-20 09:53:51 发布

阅读量1w

点赞数 12

分类专栏：机器学习与深度学习

本文链接：https://blog.csdn.net/qq_42902997/article/details/109186079

版权

机器学习与深度学习专栏收录该内容

65 篇文章

订阅专栏

本文探讨使用SVM进行人脸分类的方法，并通过PCA降维优化模型。实验表明，在保留35个特征时，模型准确率达到最高，且优于原始数据的表现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

使用 sklearn 机器学习库中的 SVM （支持向量机）算法中的 SVC （支持向量机分类算法）来实现人脸多分类
人脸数据集是 sklearn 内置的人脸数据库
首先使用原数据库直接建立模型进行分类测试
使用 PCA 降维算法进行降维，测试保留多少比例的信息可以有较高的分类结果
精确确定 PCA 算法保留的特征种类，并得到这种降维策略下的预测精确度

1. 原数据直接做人脸分类

使用 SVM 支持向量机中的 SVC 进行分类，结果达到 96%

from sklearn.decomposition import PCA
from sklearn.datasets import fetch_olivetti_faces
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np
import cv2
import math

data = fetch_olivetti_faces()

x = data.data
y = data.target

x_train,x_test,y_train,y_test = train_test_split(x_copy,y,test_size=0.33,random_state=15)

classifier = SVC(kernel='linear')

history = classifier.fit(x_train,y_train)

score = classifier.score(x_test,y_test)

在这里插入图片描述

看一下现在数据的维度是：4096，即 64 * 64 的单通道图片（在图片数据中，我们认为数据的维度就是其特征的多少）

2. PCA降维后（feature_ration是留下来的特征比例）

from sklearn.decomposition import PCA
from sklearn.datasets import fetch_olivetti_faces
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np
import cv2
import math

data = fetch_olivetti_faces()

x = data.data
y = data.target

feature_ratio = np.linspace(0.5,0.99,20)	
# 保留数据的特征从50% 尝试到 99%


x_shape=[]		#按照保存特征比例进行 PCA 降维之后，数据的维度保存在这个列表中
scores = []		#每次降维后的数据的评分保存在这里面

for i in feature_ratio:
    pca = PCA(i)
    x_copy = pca.fit_transform(x)

    x_train,x_test,y_train,y_test = train_test_split(x_copy,y,test_size=0.33,random_state=15)

    classifier = SVC(kernel='linear')

    history = classifier.fit(x_train,y_train)

    score = classifier.score(x_test,y_test)

    x_shape.append(x_copy.shape[1])

    scores.append(score)

plt.plot(x_shape,scores)
plt.xlabel('number of features')
plt.ylabel('accuracy')
plt.show()

在这里插入图片描述

可以看到，保存 50 个特征左右的时候，就可以让整个模型表现的效果很好
我们可以进行进一步的探索，尝试把保存的特征数设置在 35-60之间，看看哪个具体的值可以让模型表现更好

3. 进一步缩小范围，确定 PCA 保存特征的精确数值

x_shape=[]
scores = []

for i in range(35,60):
    pca = PCA(i)
    x_copy = pca.fit_transform(x)

    x_train,x_test,y_train,y_test = train_test_split(x_copy,y,test_size=0.33,random_state=15)

    classifier = SVC(kernel='linear')

    history = classifier.fit(x_train,y_train)

    score = classifier.score(x_test,y_test)

    x_shape.append(x_copy.shape[1])

    scores.append(score)

plt.plot(x_shape,scores)
plt.xlabel('number of features')
plt.ylabel('accuracy')
plt.show()