PCA降维工作原理及代码案例实现

PCA降维工作原理

PCA利用了协方差矩阵的特征值分解。过程分为四个步骤：
（1）创建数据集的协方差矩阵
协方差：用来度量两个随机变量关系的统计量
（2）保留协方差矩阵的特征值
（3）保留前K个特征值（特征值按照降序排列）
（4）用保留的特征向量转换为新的数据点
用鸢尾花数据集为例
鸢尾花数据集有150行4列，每行（观察值）代表一朵花
每列代表花的4种定量特点
1.先看一下要预测花的名称和用于预测的特征名称，为了更好了解数据，先查看一下其中两个特征。

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import numpy as np

lda=LinearDiscriminantAnalysis(n_components=2)
iris=load_iris()
iris_X,iris_y=iris.data,iris.target
iris.target_names#查看要预测花的名称
iris.feature_names#查看特征名称
label_dict={i:k for i,k in enumerate(iris.target_names)} #enumerate 用于将一个可以遍历的数据对象
def plot(X,y,title,x_label,y_label):
    ax=plt.subplot(111)
    for label,marker, color in zip(
    range(3),('^','s','o'),('blue','red','green')):
        plt.scatter(x=X[:,0].real[y==label],
            y=X[:,1].real[y==label],
            color=color,
            alpha=0.5,
            label=label_dict[label]
            )
   # plt.xlabel(x_label)
    #plt.ylabel(y_label)

    #leg=plt.legend(loc='upper right',fancybox=True)
  #  leg.get_frame().set_alpha(0.5)
    #plt.title('title')
#plot(iris_X,iris_y,"Original Iris Data","Sepal length(cm)","Sepal width(cm)")
#plt.show()
#计算均值向量
mean_vector=iris_X.mean(axis=0)
print(mean_vector)
#计算协方差矩阵  cov（）求协方差矩阵
cov_mat=np.cov((iris_X).T)
print(cov_mat.shape)
#计算鸢尾花数据集的特征向量和特征值
eig_val_cov,eig_vec_cov=np.linalg.eig(cov_mat)

#降序打印特征向量和相应的特征值
for i in range(len(eig_val_cov)):

    eigvec_cov=eig_vec_cov[:,i]
    print('Eigenvector {}:\n{}'.format(i+1,eigvec_cov))
    print('Eigenvalue {} from convariance matrix:{}'.format(i+1,eig_val_cov[i]))
    print(30*'*')
    #每个主成分解释的百分比是特征值除以特征值之和

print('特征值之和为',eig_val_cov.sum())
explained_variance_ratio=eig_val_cov/eig_val_cov.sum()
print('各个主成分所占百分比',explained_variance_ratio)
#碎石图
plt.plot(np.cumsum(explained_variance_ratio))
plt.title('Scree Plot')
plt.xlabel('Principal Cpmponent(k)')
plt.ylabel('% of Variance Explained <=k')
plt.show()

花的名称和用于预测的名称如下：

查看其中两个特征：

使用Numpy计算协方差矩阵，计算协方差矩阵特征值，降序打印特征向量和相应特征值。这里有四个特征值，我们可以选择保留完整的4个特征，但是希望一般选择的逼原始特征数更少。这里借用工具库中的一个新工具——碎石图。
碎石图是一种简单的折线图，显示每个主成分解释数据总方差的百分比。要绘制碎石图，需要对特征进行降序排列，绘制每个主成分和之前每个主成分方差之和。在鸢尾花数据集上，碎石图有四个点，每个点代表一种主成分，每个主成分解释了总方差的每个百分比，相加后，所有主成分解释了数据集中总方差的100%。
取每个特征向量（主成分）的特征值，将其除以所有特征值得和，计算每个特征向量解释方差得百分比。
对于鸢尾花数据集得碎石图如下所示，x轴上有四个主成分，y是累积方差，每个数据点代表到这个主成分为止可以解释得方差比。

上图可以看出，前两个主成分占了原始方差近98%，意味着几乎可以用前两个特征向量作为新的主成分。可以将数据集缩小一半，（从4列缩到2列），而且保持了特征得完整性，加速了性能。
后续将最后保留的特征向量转换为新的数据点，将四维的鸢尾花数据集转换成只有两列得新矩阵，而且新矩阵可以在机器学习流水线中代替原始数据集。