维归约篇（1）-奇异值分解

奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，是矩阵分析中正规矩阵酉对角化的推广 。

假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是 实数域或复数域。如此则存在一个分解使得

M=UΣV*

其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。

常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。)

在矩阵M的奇异值分解中

§ V的列(columns)组成一套对M的正交"输入"或"分析"的基向量。这些向量是 MM*的特征向量。

§ U的列(columns)组成一套对M的正交"输出"的基向量。这些向量是M* M的特征向量。

§ Σ对角线上的元素是奇异值，可视为是在输入与输出间进行的标量的"膨胀控制"。这些是M* M及 M* M的奇异值，并与U和V的行向量相对应。

酉矩阵

n阶复方阵U的n个列向量是U空间的一个标准正交基，则U是酉矩阵(Unitary Matrix)。显然酉矩阵是正交矩阵往复数域上的推广。一个简单的充分必要判别准则是：方阵U的共轭转置乘以U等于单位阵，则U是酉矩阵。即酉矩阵的逆矩阵与其共轭转置矩阵相等。酉方阵在量子力学中有着重要的应用。酉等价是标准正交基到标准正交基的特殊基变换。　
酉矩阵的相关性质：设有A，B矩阵

（1）若A是酉矩阵，则A的逆矩阵也是酉矩阵

（2）若A，B是酉矩阵，则AB也是酉矩阵　　

（3）若A是酉矩阵，则|detA|=1

（4）A是酉矩阵的充分必要条件是，它的n个列向量是两两正交的单位向量。

奇异值分解求伪逆

对于奇异矩阵或长方阵b，把同时满足xbx=b和bxb=x（penrose第一，第二方程）的矩阵x 称为b的伪矩阵，matlab中求伪矩阵x的命令为pinv（b）；是方阵逆阵的推广。 

奇异值分解可以被用来计算矩阵的伪逆。若矩阵 M 的奇异值分解为 M = UΣV * ，那么 M 的伪逆为M += UΣ+V * 

其中 Σ+ 是将Σ转置，并将其主对角线上每个非零元素都求倒数得到的。求伪逆通常可以用来求解线性最小平方问题。