PCA实现784个特征的降维（菜菜）

1.导入数据

from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
data=pd.read_csv(r"F:\sklearn文档\digit recognizor.csv")
x=data.iloc[:,1:]
y=data.iloc[:,0]
x.shape  #(42000, 784)

(42000, 784)

2.画累计方差贡献率曲线，找最佳降维后维度范围

pca_line=PCA().fit(x)
plt.figure(figsize=[20,5])
plt.plot(np.cumsum(pca_line.explained_variance_ratio_))
plt.xlabel("number of components after dimension reduction")
plt.ylabel("cumulative explained variance")
plt.show()

 

3.画降维后维度的学习曲线，继续缩小最佳维度的范围 

score=[]
for i in range(1,101,10):
    x_dr=PCA(i).fit_transform(x)
    once=cross_val_score(RFC(n_estimators=10,random_state=0),x_dr,y,cv=5).mean()
    score.append(once)
plt.figure(figsize=[20,5])
plt.plot(range(1,101,10),score)
plt.show()

4.在[10,25]找出最佳维度

score1=[]
for i in range(10,25):
    x_dr=PCA(i).fit_transform(x)
    once=cross_val_score(RFC(n_estimators=10,random_state=0),x_dr,y,cv=5).mean()
    score1.append(once)
plt.figure(figsize=[20,5])
plt.plot(range(10,25),score1)
plt.show()

 由图可以看出，当维度去22时，模型表现效果达到最佳

x_dr=PCA(22).fit_transform(x)
cross_val_score(RFC(n_estimators=10,random_state=0),x_dr,y,cv=5).mean()
#改变随机森林n_estimators的参数值
cross_val_score(RFC(n_estimators=100,random_state=0),x_dr,y,cv=5).mean()
#使用KNN评估模型
from sklearn.neighbors import KNeighborsClassifier as KNN
cross_val_score(KNN(),x_dr,y,cv=5).mean()

--------------------------------------------------------------------------
随机森林(n_estimators=10)    0.9171190476190476
随机森林(n_estimators=100)   0.9447857142857142
KNN                         0.9687619047619048

5.KNN画学习曲线

score2=[]
for i in range(10):
    x_dr=PCA(22).fit_transform(x)
    once=cross_val_score(KNN(i+1),x_dr,y,cv=5).mean()
    score2.append(once)
plt.figure(figsize=[20,5])
plt.plot(range(10),score2)
plt.show()

 

当KNN参数值取2时，模型表现效果超过96%

cross_val_score(KNN(2),x_dr,y,cv=5).mean()

0.9689285714285714

在使用PCA后，原本784列的特征被我们缩减到22列之后，用KNN跑出了良好的效果，后续也可在使用PCA的基础上调整参数或改模型等方法提高模型的效果。

完！