奇异值分解SVD

奇异值分解SVD

奇异值分解（singular value decomposition SVD）是线性代数中一种重要的矩阵分解。奇异值分解在某些方面与对称矩阵或厄米矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

理论描述

假设是一个$m\times n$阶矩阵，其中的元素全部属于域$K$，也就是实数域或复数域。如此则存在一个分解使得
$$A=U\Sigma V^{H}or{U}^{H}AV=\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]$$
其中$U$是$m\times m$阶酉矩阵；$\Sigma$是$m\times n$阶非负实数对角矩阵；而$V^H$，即$V$的共轭转置，是$n\times n$阶酉矩阵。

酉矩阵（unitary matrix）是一个 $n\times n$ 复数方块矩阵 $U$，其满足以下性质:

• $U^{H}U=U{U}^H=I_n$
• 酉矩阵必定可逆，$U^{-1}=U^H$
• $|{\lambda }_n|=1;|det(U)|=1$
• $U$ 的列向量是在 $C_n$ 上的一组标准正交基
• $U$ 的行向量是在 $C_n$ 上的一组标准正交基

这样的分解就称作$M$的奇异值分解。$\Sigma$对角线上的元素${\Sigma }_{i,j}$即为$M$的奇异值。

常见的做法是将奇异值由大而小排列。如此$\Sigma$便能由$A$唯一确定了。（虽然$U$和$V$仍然不能确定。）

直观解释

• $V$的行（columns）组成一套对$A$的正交"输入"或"分析"的基向量。这些向量是$A^{H}A$的特征向量
• $U$的行（columns）组成一套对$A$的正交"输入"的基向量。这些向量是$A{A}^H$的特征向量
• $\Sigma$对角线上的元素是奇异值，可视为是在输入与输出间进行的标量的"膨胀控制"。这些是$A^{H}A$及$A{A}^H$的特征值的非负平方根，并与$U$和$V$的行向量相对应。

紧奇异值分解与截断奇异值分解

实数域的完全奇异值分解：
$$A=U\Sigma V^T$$
实际常用的是奇异值分解的紧凑形式和截断形式，紧奇异值分解是与原始矩阵等秩的，截断奇异值分解是比原始矩阵更低秩的。

紧奇异值分解

设有$m\times n$实矩阵$A$，其秩为$rank(A)=r,r\le min(m,n)$，则称紧奇异值分解为：
$$A=U_r{\Sigma }_r{V}_r^T$$
其中，$U_r$是$m\times r$矩阵，$V_r$是$n\times r$矩阵，${\Sigma }_r$是$r$阶对角矩阵。

截断奇异值分解

在矩阵的奇异值分解中，只取最大的$k$个奇异值($k<r$)对应部分，就得到矩阵的截断奇异值分解
$$A\approx U_r{\Sigma }_r{V}_r^T$$

几何意义

任意一个向量 $x\in R^n$,经过基于$A=U\Sigma V^T$的线性变换，等价于经过坐标系的旋转或反射变换$V^T$，坐标轴的缩放变换 $\Sigma$以及坐标系的旋转或反射变换$U$,得到向量$Ax\in R^m$ 。

参考文献

• wikipedia（维基百科）
• 《统计学习方法》（李航）
• 《矩阵论》（张凯院，徐仲）