特征值分解

特征值和特征向量的几何意义

矩阵和向量作乘法，向量会变成另一个方向或长度的新向量，主要会发生旋转、伸缩的变化

如果矩阵乘以某些向量后，向量不发生旋转变换，只产生伸缩变换

那么就说这些向量是矩阵的特征向量，伸缩的比例就是特征值

特征值和特征向量的数学描述

如果 A 是 n 阶方阵，数 λ 和 n 维非零列向量 x 是 A 的对应于特征值的特征向量，有：

$$Ax=\lambda x$$

也可以写成：

$$(A-\lambda E)x=0$$

特征值分解

特征值分解就是将一个矩阵分解成：

$$A=P\Lambda P^{-1}$$

P 是这个矩阵 A 的特征向量组成的矩阵

Λ 是特征值组成的对角矩阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向。

特征值分解的过程

解下面的线性方程组：

$$|A-\lambda E|=0$$

即：

可以解出 n 个特征值： ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$

再把 n 个特征值代入下面的式子：

$$(A-\lambda E)x=0$$

可以求出 n 个对应的特征向量： $P_1,P_2,\dots ,P_n$

对于每一个特征值与特征向量满足：

$$A{x}_i={\lambda }_i{x}_i$$

令：

对于 n 个特征值和特征向量可写成：

可得：

$$AP=P\Lambda$$

如果矩阵 P 可逆，有 $$A=P\Lambda P^{-1}$$

参考资料

方阵的特征值分解：https://zhuanlan.zhihu.com/p/40144787
特征值分解、奇异值分解、PCA概念整理：https://blog.csdn.net/jinshengtao/article/details/18448355