奇异值分解的简单理解（SVD）

奇异值分解是特征值分解的一个普遍化的方法，适用于降维、图片压缩等方面的应用。

特征值分解

矩阵A是一个m*m的实对称矩阵（A=A’），则A可被分解为QEQ’，其中Q是正交矩阵（QQ’=I）。

奇异值分解

特征值分解需要A是实对称矩阵，而奇异值分解是特征值分解的推广。即任何矩阵A都可通过奇异值分解分解为以下形式：
A=UEV’
其中U和V都是单位正交阵，U为左奇异矩阵，V为右奇异矩阵，E仅在对角线方向上有值，称为奇异值。

奇异值

奇异值可以被看作成一个矩阵的代表值，或者说，奇异值能够代表这个矩阵的信息。当奇异值越大时，它代表的信息越多。