PCA算法 - python实现

PCA降维

二维数据降维

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

#二维数据降维

#数据创建
rng=np.random.RandomState(8)
data=np.dot(rng.rand(2,2),rng.randn(2,200)).T
df=pd.DataFrame({'x1':data[:,0] ,'x2':data[:,1]})
print(df.head())
print(df.shape)

plt.scatter(df['x1'],df['x2'],alpha=0.8,marker='.')
plt.axis('equal')
plt.grid()

#二维数据降维
#构建模型，分析主成分

#加载主成分分析模块PCA
from sklearn.decomposition import PCA

pca=PCA(n_components=1) #n_components=1  降为1维
pca.fit(df) #构建模型
#sklearn.decomposition.PCA(n_components=None,copy=True,whiten=False)
#n_components: PCA算法中所要保留的主成分个数n,也即保留下来的特征个数n
#copy：表示是否在运行算法时，将原始训练数据复制一份
#fit(X,y=None) :调用fit方法的对象本身，pca.fit(X)表示用X对pca这个对象进行训练
#whiten: 判断是否进行白化。所谓白化，就是对降维后的数据的每个特征进行归一化，让方差都为1.对于PCA降维本身来说，一般不需要白化。
#如果你PCA降维后有后续的数据处理动作，可以考虑白化。默认值是False，即不进行白化

print('降维后主成分的方差值为：',pca.explained_variance_)
print('降维后主成分的方差值占总方差的比例为：',pca.explained_variance_ratio_)
print('降维后最大方差的成分为：',pca.components_)
print('降维后主成分的个数为：',pca.n_components_)
#2.79*(-0.77*x1-0.62*x2)
#components_:返回具有最大方差的成分
#explained_variance: 它代表降维后的各主成分的方差值。方差值越大，则说明越是重要的主成分。
#explained_variance_ratio: 它代表降维后的各主成分的方差值占总方差值的比例，这个比例越大，则越是重要的主成分。
#n_components_:返回所保留的成分个数n
#降维后主成分A1=-0.7788006*x1-0.62727158*x2

x_pca=pca.transform(df) #数据转换
x_new=pca.inverse_transform(x_pca) #将降维后的数据转换成原始数据
print('original shape:',df.shape)
print('transformed shape:',x_pca.shape)
print(x_pca[:5])
#主成分分析，生成新的向量x_pca
#fit_transform(X): 用X来训练PCA模型
#inverse_transform(): 将降维后的数据转化成原始数据

#生成图表
plt.scatter(df['x1'],df['x2'],alpha=0.6,marker='.')
plt.scatter(x_new[:,0],x_new[:,1],alpha=0.9,marker='.',color='r')
plt.axis('equal')
plt.grid()

多维数据降维

#加载数据
from sklearn.datasets import load_digits
digits=load_digits()
print(digits.keys())
print('数据长度为：%i条' % len(digits['data']))
print('数据形状为：', digits.data.shape)
print(digits.data[:2])#前两条记录

#构建模型
pca=PCA(n_components=10)
pca.fit(digits.data)

#print(pca.components_)
#print(pca.n_components_)
projected=pca.fit_transform(digits.data)
#print(projected[:5])
print(pca.explained_variance_)
print(pca.explained_variance_ratio_)
print('original shape:',digits.data.shape)
print('transformed shape:',projected.shape)

s=pca.explained_variance_
c_s=pd.DataFrame({'b':s,'b_sum':s.cumsum()/s.sum()})

c_s['b_sum'].plot(style='--ko',figsize=(10,4))
plt.axhline(0.85,hold=None,color='r',linestyle='--',alpha=0.8)
plt.text(6,c_s['b_sum'].iloc[6]-0.08, '第7个成分累计贡献率超过85%', color='b')
plt.grid()