奇异值分解

一个非方矩阵不能定义特征值，特征值的推广之一是奇异值。

矩阵$A \in C^{m \times n}$ 秩为 $r$ , 则 $A^H A 和 AA^H$ 均为秩为 $r$ 的半正定 Hermite 矩阵，并且他们具有相同的正特征值。 记为 $\lambda _1 \geq \lambda _2 \geq \dots \geq \lambda _r \geq \lambda _{r+1} = \dots = \lambda _n$ ,则称 $\sigma_i = \sqrt {\lambda _i}$ 为矩阵 $A$ 的奇异值或奇值，前 $r$ 个是正奇值。

矩阵的奇异值分解可以表示为：

$$A=U \Sigma V^T$$

其中 $U$ 为＄m＄阶正交矩阵，

$$U=[ u_1,u_2,\dots,u_m$$

$V$ 为＄m＄阶正交矩阵，

$$V=[ v_1,v_2,\dots,v_n$$

$\Sigma$ 为 $m \times n$ 阶矩阵

$$\Sigma = \begin{bmatrix} D & 0 \\ 0 & 0 \end{bmatrix} , D = diag \{\sigma _1 , \sigma _2 , \dots , \sigma _r \}$$

矩阵的广义逆可以表示为：

$$A ^{\dagger} = V \Sigma ^{\dagger} U^T$$
其中：
$$\Sigma ^{\dagger} = \begin{bmatrix} D^{\dagger} & 0 \\ 0 & 0 \end{bmatrix} , D^{\dagger} = diag \{ \frac {1} {\sigma _1} , \frac {1} {\sigma _2} , \dots ,\frac {1} {\sigma _r} \}$$