主成分分析法(Principal Componebt Analysis,简称PCA)是常用的一种降维方法,可用于提取数据的主要特征分量,有助于缓解维度灾难问题。PCA主要就是通过向量矩阵计算将新样本投影到低维空间中。那么PCA是如何进行降维的呢?
首先我们回顾一下线性代数中的“基”的概念。
基
我们如何确定确定一个向量的坐标,假设向量(3,2):
实际上关于向量(3,2)的定义是以我们当前的x轴和y轴的向量作为标准,在x轴的投影为3,而y轴的投影为2。这里的x轴和y轴的标准就称为基。
对于向量(3,2)来说,我们相求它在(1,0),(0,1)这组基下的坐标的话,实际上就是求向量在(1,0)、(0,1)方向上的投影,也就是向量的内积:,矩阵的乘法应该是会算的。
如果我们再想求向量(3,2)这个点在和这组基下的坐标是多少,这个时候我们就是计算向量(3,2)在向量和的投影:
我们可以得到坐标为。这就是基变换下的坐标变换,一旦基变换,说明我们的标准也就是x轴和y轴变了,向量的坐标自然要变换,那么我们更加一般的公式为: