线性代数（一）：奇异值分解

奇异值分解（Singular Value Decomposition），又叫酉相抵标准型定理，是线性代数中一种重要的矩阵分解方法，因为它对矩阵形态的要求不像特征分解那样严格，因而在算法中有着广泛的使用。 这里对这个定理进行证明。事先说明：为了方便部分同学理解，这一部分我们仅使用实数域上的线性代数，一般来说已经足够了；如果你还想了解更多，我们后面还会讲到它在复数域上的推广形式，即酉相抵标准型定理，完全类似。

奇异值分解的证明 并且为了直观起见，我们从几何角度思考。定理是这样说的： > $对于R^{m\times n}上任意的矩阵 {A}_{ m\times n}，我们总可以找出两个正交矩阵{U}_{m \times m}，{V}_{n\times n}，使得$

$${A}={UDV^T}$$ $其中{D}_{m\times n}是一个对角阵，但不一定是一个方阵。$ > 下面我们来证明这个定理。我们已经知道，任何一个实矩阵 ${A}_{m\times n}$都可以一一对应于从空间 ${R}^{n}到空间{R}^{m} 中的一个线性映射：$ $${A}_{m\times n}: {R}^{n}\Longrightarrow{R}^{m} 。$$ 但是由于这里{A}不是一个方阵，处理起来不太方便，一个常用的方法是先考虑方阵 ${A^TA},它表示{R^n}空间到自身的一个线性变换：$ $${A^TA}_{m\times n}: {R}^{n}\Longrightarrow{R}^{n} ,$$ 并且由于 ${A^TA}是一个实对称方阵，它一定可以做正交的特征分解：$
$${A^TA}=VDV^T,$$ 这里D=diag（λ1,λ2,...λn）是一个对角矩阵，V=（v1,v2,..