1.导入相应包
from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
2.准备数据集
data = pd.read_csv(r"D:\download\sklearnjqxx_jb51\【机器学习】菜菜的sklearn课堂(1-12全课)\04主成分分析PCA与奇异值分解SVD\digit recognizor.csv")
X = data.iloc[:, 1:]
y = data.iloc[:, 0]
X.shape
这里返回的是(42000, 784)即42000张照片,每张图片由784个像素点构成
3.查看信息矩阵保留曲线图
pca_line = PCA().fit(X)
plt.plot(np.cumsum(pca_line.explained_variance_ratio_))
plt.xlabel("number of components after dimension reduction")
plt.ylabel("cumulative explained variance ratio")
plt.savefig(r"C:\Users\86377\Desktop\1.png")
绘制图像如下:
这里我们可以看到大概在0-100之内,我们进行下一步细化搜索。
4.通过模型确定搜索范围
score = []
for i in range(1, 101, 10):
X_dr = PCA(i).fit_transform(X)
one_score = cross_val_score(RFC(n_estimators=10, random_state=0), X_dr, y, cv=5).mean()
score.append(one_score)
plt.plot(range(1, 101, 10), score)
plt.savefig(r"C:\Users\86377\Desktop\2.png")
plt.show()
绘制精确率图像如下:
从图中我们可以看到大致在10-25之间会取得峰值。
5.进一步细化搜索范围
score = []
for i in range(10, 25):
X_dr = PCA(i).fit_transform(X)
one_score = cross_val_score(RFC(n_estimators=10, random_state=0), X_dr, y, cv=5).mean()
score.append(one_score)
plt.plot(range(10, 25), score)
plt.savefig(r"C:\Users\86377\Desktop\3.png")
plt.show()
绘制图像如下:
这里我们选取21为PCA超参数。
6.查看此时正确率
X_dr = PCA(21).fit_transform(X)
cross_val_score(RFC(n_estimators=100, random_state=0), X_dr, y, cv=5).mean()
最终得到的精确率为:0.9433095238095237