PCA

特征值与特征向量的意义解释

矩阵乘法其实是对应着一个线性变换，是把任意一个向量变成另一个方向或者长度的新向量。在这个变换中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，而不对这些向量产生旋转效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。

特征向量与特征值对于一个矩阵的意义，每一个特征向量都对应着这个矩阵在对另一个对象作线性变换时所产生变换的方向，而特征值则表示着这个变化的大小。也就是说，矩阵A的信息可以由其特征值和特征向量表示。对于矩阵为高维的情况下，这个变换就对应着很多方向的变化，我们通过特征值分解得到的对应特征值较大的前K个特征向量，便表示了这个矩阵最主要的K个变化方向。我们利用这前K个变化方向，就可以近似这个矩阵的变换，而著名的主成分分析（Principle Conponent Analysis,PCA）便是基于这一原理实现的。

总而言之，通过特征值分解我们可以得到特征值与特征向量，特征向量表示这个特征是什么，而特征值表示着这个特征有多重要。同时，我们要意识到特征值分解也有一定的局限性，它的对象必须是方阵，而实际中的矩阵往往不是方阵，后面要说的奇异值分解将其演化到了普通形式的矩阵。

PCA降维。

$$X_{k\ast N}^{\prime }=A_{k\ast n}{X}_{n\ast N}$$
a. 若在机器学习中，N表示训练数据的样本个数，n为训练数据的特征数量；
b. 其中$X_{k\ast N}^{\prime }$为$X_{n\ast N}$通过矩阵$A_{k\ast n}$降维后的矩阵，直观来看就是将一个n*N维的矩阵变成了k*N的矩阵；
c. 其中$$A_{k\ast n}\ast A_{k\ast n}^T=I_k$$,其中$I_k$为k阶单位阵；

所以降维的关键是如何找到一个$A_{k\ast n}$使得等式成立并且让$X_{k\ast N}^{\prime }$和$X_{n\ast N}$所包含的信息相等，这样就可以通过$A_{k\ast n}$对$X_{n\ast N}$进行降维变换了。

PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量。

让$X_{k\ast N}^{\prime }$和$X_{n\ast N}$所包含的信息相等首先得有一个方法衡量一个矩阵包含的信息量，通常使用F-范数衡量一个矩阵的信息量。
$$||X|{|}_F=\sqrt{\sum _{i=1}^n\sum _{j=1}^n{x}_{ij}^2}$$

由$$X_{n\ast N}\ast X_{n\ast N}^T$$为一个半正定矩阵得：$$X_{n\ast N}\ast X_{n\ast N}^T=U_{n\ast N}^{T}D{U}_{n\ast N}$$
其中U为对角矩阵。

通过数学证明：

将U的对角线元素按照从小到大的顺序排列取其前k个值，即$X_{n\ast N}\ast X_{n\ast N}^T$的前k个最大特征值，用该k个值对应的$X_{n\ast N}\ast X_{n\ast N}^T$的特征向量所形成的A将$X_{n\ast N}$降维为$X_{k\ast N}^{\prime }$时，$X_{k\ast N}^{\prime }$所包含的信息和$X_{n\ast N}$的最近。

这就是PCA降维。

PCA的几何意义：

PCA的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似这个空间，这样就从一个N维的空间压缩到r维的空间了，但是我们选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。

PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。

奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。