PCA

PCA

PCA 主成成分分析 （Principal Component Analysis）

pca的作用：数据降维
PCA实际操作的时候都要经过哪些步骤？
1.整理原始矩阵X(m*4)
2.求原始矩阵X的协方差矩阵  S(4*4) = Cov(X) = 1/m * (X - EX)*(X-EX)T
3.求协方差矩阵的特征值特征向量
4.将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 k 列组成矩阵 P
5.Y = X(m*n)*P(n*k) 即为降维到 k 维后的数据
补充：
	SVD A(m*n) = U(m*m)A(m*n)VT(n*n)  ≈ U(m*k)A(k*k)VT(k*n)  其中k <= min(m,n)

对X进行PCA降维变4维到3维

X= [[1, 2, 1, 1],
    [3, 3, 1, 2],
    [3 ,5, 4, 3],
    [5 ,4, 5 ,4],
    [5, 6, 1, 5],
    [6, 5 ,2, 6],
    [8 ,7, 1, 2],
    [9 ,8, 3, 7]] #（每行一个样本，每列为一维特征,共4维特征）
#1.求均值
import numpy as np
X = np.array(X,dtype='i2')
EX = X.mean(axis=0)

#2.去中心化
NewX = X - EX

#3.求样本的协方差
CovX = np.dot(NewX.T,NewX) / NewX.shape[0]

#4.求特征根
EigenValue,EigenVector = np.linalg.eig(CovX)

#5.对特征根排序
minValue  = np.min(EigenValue)
lossIndex = None
for i,v in enumerate(EigenValue) :
    if minValue == v:  # NewEVa[-1]
        lossIndex = i
NewEigenVector1 = EigenVector[...,:lossIndex]
NewEigenVector2 = EigenVector[...,lossIndex+1:]
NewEigenVector = np.concatenate((NewEigenVector1,NewEigenVector2),axis=1)

#6.Y= XP得到结果
ResultY = np.dot(X,NewEigenVector)
print(ResultY)

#直接使用现成包
import numpy as np
from sklearn.decomposition import PCA
pca = PCA(n_components=3)
newX = pca.fit(X)
newX = pca.transform(X)
print(newX)