初探PCA原理与推导

PCA原理：将n维数据映射到由K维相互正交的向量确定的空间上。

实现流程:

1.计算原特征数据的协方差矩阵，并计算协方差矩阵的特征值。

2.按照大小对所计算的特征值进行排序，选取前K大的特征值所对应的特征向量，将其转化为单位向量。

3.对所有数据都减去其对应的平均值，做中心化。这相当于得到期望值为0，标准差为1的标准高斯分布（个人认为中心化的目的是为了计算方差方便，和让样本平移到坐标原点让模型更易理解）。

4.将数据投影到K维空间：让中心化后的样本矩阵与特征向量矩阵相乘

PCA的实现流程结束，得到K维的新样本数据。

基于最大方差原理推导PCA，首先理清思路：

1.目标函数为方差最大化

2.方差最大化时候的特征向量是