矩阵分解、奇异值分解（SVD）

1.特征值

1. 特征向量$Ax=\lambda x$的几何意义：向量x通过矩阵A变换，只进行缩放，而不改变向量方向，缩放倍数即特征值。
2. 对于n阶方阵，一定有n个特征值（包括复数），但非零特征值个数等于矩阵的秩。

2.方阵的分解

根据$Ax=\lambda x$, 对于n阶方阵：$$A=U\Sigma U^{-1}$$ 其中U为n个特征向量构成的矩阵，$\Sigma$为特征值构成的对角阵。把U的n个特征向量标准化，满足$U^{-1}=U^T$，得到$$A=U{\Sigma }^{\prime }{U}^T$$

3. 奇异值分解

当A不是方阵时，需要奇异值分解了（Singular Value Decompasition, SVD）, 分解得到$$A=U\Sigma V^T$$, 其中U,V分别为m,n阶方阵，$\Sigma$为m x n维矩阵，主对角线上非零元素为奇异值。分解过程如下：

对于矩阵$A=\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)$

1. 求出$A{A}^T$、$A^{T}A$
   $$A{A}^T=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$、 $$A{A}^T=\left(\begin{array}{ccc}1& 1& 0\\ 1& 2& 1\\ 0& 1& 1\end{array}\right)$$
2. 对两者分别求特征值与特征向量，使得$$A^{T}A{v}_i={\lambda }_i{v}_i$$ $$A{A}^T{u}_i={\lambda }_i{u}_i$$得到：$${\lambda }_i=3,{\lambda }_2=1,v_1=(1/\sqrt{2}1/\sqrt{2}{)}^T,v_2=(-1/\sqrt{2}1/\sqrt{2}{)}^T$$ $$u_1=(1/\sqrt{6},2/\sqrt{6},1/\sqrt{6}{)}^T,u_2=(1/\sqrt{2},0,-1/\sqrt{2}{)}^T$$ $${\lambda }_3=0,u_3=(1/\sqrt{3},-1/\sqrt{3},1/\sqrt{3}{)}^T$$
3. 利用$A{v}_i={\sigma }_i{u}_i$求奇异值, ${\sigma }_1=\sqrt{3},{\sigma }_2=1$.
4. 得到分解结果:
   $$A=U\Sigma V^T=\left(\begin{array}{ccc}1/\sqrt{6}& 1/\sqrt{2}& 1/\sqrt{3}\\ 2/\sqrt{6}& 0& -1/\sqrt{3}\\ 1/\sqrt{6}& -1/\sqrt{2}& 1/\sqrt{3}\end{array}\right)\left(\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right)\left(\begin{array}{cc}1/\sqrt{2}& 1/\sqrt{2}\\ -1/\sqrt{2}& 1/\sqrt{2}\end{array}\right)$$

4.奇异值分解的作用：降维

Python中奇异值分解：

U,sigma,VT=linalg.svd(data)

分解后，得到sigma为奇异值从大到小排列的向量，通过$\frac{su(sigma[:k]{)}^2}{sum(sigma{)}^2}$计算奇异值的能量占比，一般超过80%则表明保留了较多信息，可以用前k个分量还原出原矩阵的大部分信息，从而将原矩阵降维到m x k维。