PCA主成分分析

主成分分析（PCA)是一种比较基础的数据降维方法，也是多元统计中的重要部分，在数据分析、机器学习等方面具有广泛应用。主成分分析目的是用较少的变量来代替原来较多的变量，并可以反映原来多个变量的大部分信息。

（一）什么是主成分分析法

• 一种数据数据降维算法（非监督）

• 通过析取主成分显出的最大的个体差异，发现更便于人们能够理解的特征，也可以用来削减回归分析和聚类分析中变量的数目。

 （二）为什么做PCA

• 在很多场景中需要对多变量数据进行观测，在一定程度上增加了数据采集的工作量。并且多变量之间存在相关性，从而增加了问题分析的复杂性
• 对每个指标单独分析 ——> 分析结果是孤立的（不能完全利用数据的信息）
• 盲目减少指标 ——> 损失有用的信息，得出错误结论
• 在减少分析指标的同时，尽量减少原指标的信息的损失
• 可以考虑将关系紧密的变量变成尽可能少的新变量，使这些新变量是两两不相关的，那么就可以用较少的综合指标分别代表存在于各个变量中的各类信息

二、主成分分析的步骤
1、数据预处理

中心化

2、求样本的协方差矩阵

其中协方差描述两个数据的相关性，接近1为正相关，接近-1为负相关，接近0为不相关。两个数据的协方差计算公式如下：

3、对协方差矩阵做特征值分解

4、选出最大的K个特征值对应的K个特征向量

5、将原始数据投影到选取的特征向量上

6、输出投影后的数据集
 

import numpy as np
import matplotlib.pyplot as plt

data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0]
y_data = data[:,1]
plt.scatter(x_data,y_data)
plt.show()
print(x_data.shape)

def zeroMean(dataMat):
    # 按列求平均，即各个特征的平均
    meanVal = np.mean(dataMat, axis=0) 
    newData = dataMat - meanVal
    return newData, meanVal

newData,meanVal=zeroMean(data)  
# np.cov用于求协方差矩阵，参数rowvar=0说明数据一行代表一个样本
covMat = np.cov(newData, rowvar=0)

eigVals, eigVects = np.linalg.eig(np.mat(covMat))

eigValIndice = np.argsort(eigVals)

n_eigValIndice = eigValIndice[-1:-(top+1):-1]

n_eigVect = eigVects[:,n_eigValIndice]
lowDDataMat = newData*n_eigVect
reconMat = (lowDDataMat*n_eigVect.T) + meanVal

data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0]
y_data = data[:,1]
plt.scatter(x_data,y_data)

# 重构的数据
x_data = np.array(reconMat)[:,0]
y_data = np.array(reconMat)[:,1]
plt.scatter(x_data,y_data,c='r')
plt.show()