机器学习基础：特征值分解与特征向量

特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。
如果说一个向量v是一个方阵A的特征向量，将一可以表示成下面形式$$Av=\lambda v$$
$\lambda$为特征向量v的特征值，特征值分解是将一个矩阵分解为如下形式：$$A=Q\sum Q^{-1}$$其中Q是这个矩阵A的特征向量所组成的矩阵，$\sum$是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值有大到小排列，这些特征值所对应的特征向量就是描述这个矩阵变化方向，（从主要的变化到次要的变化排序）。也就是说矩阵A的信息可以由其特征值和特征向量表示。

对于矩阵为高纬的情况下，那么这个矩阵就是高维空间下的一个线性变换，可以想像，这个变化也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那就对应了这个矩阵最主要的N个变化方向，我们利用这前N个变化方向，就可以近似这个矩阵（变换）。