数学漫游 ->奇异值分解SVD

奇异值分解(SVD)

前面提到对于方阵$A$, 大小为nxn, 在一定条件下, 可以进行特征值和特征向量分解. 但存在问题:

• 方阵$A$的特征向量并不正交(只有是对称矩阵的情况下才正交).
• 方阵$A$的特征向量数量不够(即不满足n个特征向量组是线性相关的).
• 并不是一个方阵(A可能并不是方阵).

这种情况下如何对大小为mxn的矩阵$A$ 进行分解呢? $A$的奇异向量能够完美地解决上述问题.

1. SVD的推导

目标: 寻找行空间的一组标准正交基, 作用$A$以后, 变换到列空间的一组正交基(倍数乘以标准正交基).
$$A{v}_1={\sigma }_1{u}_1,A{v}_2={\sigma }_2{u}_2,...,A{v}_r={\sigma }_r{u}_r$$
$v_i\in {\mathbb{R}}^n,u_i\in {\mathbb{R}}^m$
所以可以得到:
$$A\left[\begin{array}{ccc}{v}_1& ...& v_r\end{array}\right]=\left[\begin{array}{ccc}{u}_1& ...& u_r\end{array}\right][\begin{array}{cccc}{\sigma }_1& & & \\ & .& & \\ & & .& \\ & & & {\sigma }_r\end{array}$$