PCA学习----降维算法

主成分分析法(Principal Componebt Analysis，简称PCA)是常用的一种降维方法，可用于提取数据的主要特征分量，有助于缓解维度灾难问题。PCA主要就是通过向量矩阵计算将新样本投影到低维空间中。那么PCA是如何进行降维的呢？

首先我们回顾一下线性代数中的“基”的概念。

基

我们如何确定确定一个向量的坐标，假设向量(3,2):

实际上关于向量(3,2)的定义是以我们当前的x轴和y轴的向量作为标准，在x轴的投影为3,而y轴的投影为2。这里的x轴和y轴的标准就称为基。

对于向量(3,2)来说，我们相求它在(1,0)，(0,1)这组基下的坐标的话，实际上就是求向量在(1,0)、(0,1)方向上的投影，也就是向量的内积：，矩阵的乘法应该是会算的。

如果我们再想求向量(3,2)这个点在和这组基下的坐标是多少，这个时候我们就是计算向量(3,2)在向量和的投影：