SVD详解

 矩阵的奇异值（singular value decompostion, SVD）在最优化问题、特征值问题、最小二乘方问题、广义逆矩阵问题及统计学方面都有重要的应用。本人在研究生物基因组规模的代谢网络和图像识别的相关算法时，都大量的涉及了这一方面的内容，因此开始对此进行初步的理解和研究。我们从基础的概念开始，逐渐深入。

1 奇异矩阵

对于一个方阵A，如果行列式|A|=0，则A是奇异矩阵；如果|A| !=0, 则是非奇异矩阵。

已知 |A| !=0  -> A可逆， 所以可逆矩阵是非奇异矩阵；

如果A是奇异矩阵，则 AX=0 有无穷多个解，AX=b有无穷多个解或者无解；(why?)

如果A是非奇异矩阵，则AX=0有零解，AX=b有唯一解。

A(n×n) is a singular matrix <=> Rank(A)<n; 

A(n×n) is a non-singular matrix <=> Rank(A)=n.

2 正交矩阵：如果实方阵Q满足 Q^TQ = I,或Q-¹ = Q^T则称Q为正交矩阵。

 容易证明，正交矩阵的列向量是两两正交的单位向量。

  推论：1 正交向量是非奇异的。

              证明：det（Q^TQ）= detQ^T×detQ = （detQ）² =  1 ≠ 0

                       所以|Q| ≠0

           2 正交矩阵的逆矩阵仍然是正交矩阵。

              证明