机器学习数学基础之三奇异值分解（SVD）

奇异值分解（Singular Value Decomposition，SVD）

引入

在上一节中我们回顾了矩阵的特征分解，但是特征分解只能对方阵进行（当然有的方阵可能也无法进行特征分解），那对于任意的一个矩阵 $A\in R^{m\times n}$ 是否也能进行矩阵分解呢？答案是肯定的，那就是本节我们要介绍的奇异值分解（SVD）。
在正式介绍SVD之前，我们先来思考一下： $\vec{y}=A\vec{x}$ 代表什么意义？我们可以认为，矩阵 $A$ 代表了一种线性变换，将n维的向量 $\vec{x}$ 从 $R^n$ 空间变换为 $R^m$ 空间下的m维向量 $\vec{y}$。那进一步想，矩阵 $A$ 到底是怎么把向量 $\vec{x}$ 变换为向量 $\vec{y}$ 的呢？或者说是经历了哪些步骤将向量 $\vec{x}$ 变换为向量 $\vec{y}$ 的呢？
如果存在一种分解方法，可以将矩阵 $A$ 进行因子分解，得到 $A=U\Sigma V^T$，其中 $U$ 为 $R^{m\times m}$空间下的正交矩阵， $\Sigma$ 为$R^{m\times n}$ 空间下的 $(m\times n)$ 矩形对角矩阵，$V^T$ 为 $R^{n\times n}$ 空间下的正交矩阵。那么对于 $A\vec{x}=U\Sigma V^T\vec{x}$ 可以理解为先用 $V^T$ 对 $\vec{x}$ 进行变换得到$V^T\vec{x}$，再用 $\Sigma$ 对 $V^T\vec{x}$ 进行变换得到 $\Sigma V^T\vec{x}$，最后用 $U$ 对 $\Sigma V^T\vec{x}$ 进行变换得到 $U\Sigma V^T\vec{x}$。那么问题来了，上述变换都表示什么意思呢？$V$是正交矩阵，其列向量构成 $R^n$ 空间的一组标准正交基，表示 $R^n$ 中的正交坐标系的旋转或者反射变换， $U$ 同理；而 $\Sigma$ 的对角元素 ${\sigma }_1,{\sigma }_2,...,{\sigma }_n$ 是一组非负实数，表示 $R^n$ 中的原始坐标实现坐标轴的 ${\sigma }_1,{\sigma }_2,...,{\sigma }_n$ 倍的缩放变换。
结合下图给出一个更为直观的几何解释：原始空间的标准正交基（红色和黄色），经过坐标系的旋转变换 $V^T$、坐标轴的缩放变换 $\Sigma$（黑色${\sigma }_1,{\sigma }_2$）、坐标系的旋转变换 $U$，得到和经过线性变换 $A$ 等价的结果。

SVD的定义

经过上述的叙述，我们对SVD算是有了一个初步的了解，下面给出奇异值分解的定义：

定义3.1（奇异值分解） 矩阵的奇异值分解是指，将一个非零的 $(m\times n)$ 实矩阵表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解：$$A=U\Sigma V^T$$其中 $U$ 是m阶正交矩阵，$V$ 是n阶正交矩阵，$\Sigma$ 是降序排列的非负的对角线元素组成的 $(m\times n)$ 矩形对角矩阵，满足：$$U{U}^T=I$$ $$V{V}^T=I$$ $$\Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_p)$$ $${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_p\ge 0$$ $$p=min(m,n)$$ $U\Sigma V^T$ 称为矩阵 $A$ 的奇异值分解，${\sigma }_i$ 称为矩阵的奇异值，$U$ 的列向量称为左奇异向量，$V$ 的列向量称为右奇异向量。

【注意】：奇异值分解不是要求矩阵 $A$ 是方阵，事实上矩阵的奇异值分解可以看做是方阵对角化的推广。

任意给定一个实矩阵，其奇异值分解是否一定存在你？答案是肯定的，有 奇异值分解基本定理 给与保证，下面我们证明之。

【证明】：证明是构造性的，对给定的矩阵 $A$ ,构造出其奇异值分解的各个矩阵。为了方便，不妨设 $m\ge n$。证明由三步完成：
（1）确定 $V$ 和 $\Sigma$
矩阵 $A$ 是 $m\times n$ 实矩阵，则矩阵 $A^{T}A$ 是n阶实对称矩阵。因而 $A^{T}A$ 的特征值都是实数，且存在一个n阶的正交矩阵 $V$ 实现 $A^{T}A$ 的对角化，使得 $V^T(A^{T}A)V=\Lambda$ 成立。
而且，$A^{T}A$ 的特征值都是非负的。事实上，令 $\lambda$ 是 $A^{T}A$ 的一个特征值， $\vec{x}$ 是对应的特征向量，则$$\parallel A\vec{x}{\parallel }^2=x^T{A}^{T}Ax=\lambda x^{T}x=\lambda \parallel x{\parallel }^2$$于是$$\lambda =\frac{\parallel Ax{\parallel }^2}{\parallel x{\parallel }^2}\ge 0$$可以假设正交矩阵 $V$ 的列的排列使得对应的特征值形成降序排列 $${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$$计算特征值的平方根（实际上就是矩阵$A$的奇异值）$${\sigma }_j=\sqrt{{\lambda }_j},j=1,2,\dots ,n$$设矩阵 $A$ 的秩是 $r$，则矩阵$A^{T}A$ 的秩也是 $r$，由于 $A^{T}A$ 是对称矩阵，它的秩等于正的特征值的个数，所以$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>0,{\lambda }_{r+1}={\lambda }_{r+2}=\cdots ={\lambda }_n=0$$对应的有 $${\sigma }_1\ge {\sigma }_2\cdots \ge {\sigma }_r>0,{\sigma }_{r+1}={\sigma }_{r+2}=\dots {\sigma }_n=0$$ 令 $$V_1=\left(\begin{array}{cccc}{v}_1& v_1& \dots & v_r\end{array}\right),V_2=\left(\begin{array}{cccc}{v}_{r+1}& v_{r+2}& \dots & v_n\end{array}\right)$$其中 $v_1,\dots ,v_r$ 为 $A^{T}A$ 的正特征值对应的特征向量，$v_{r+1},\dots ,v_n$ 为0特征值对应的特征向量，则$$V=\left(\begin{array}{cc}{V}_1& V_2\end{array}\right)$$ 这就是矩阵$A$的奇异值分解中的n阶正交矩阵 $V$。
令$${\Sigma }_1=\left(\begin{array}{ccccc}{\sigma }_1& & & & \\ & {\sigma }_2& & & \\ & & \ddots & & \\ & & & & {\sigma }_r\end{array}\right)$$则 $m\times n$ 矩形对角矩阵 $\Sigma$ 可以表示为$$\Sigma =\left(\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right)$$这就是矩阵 $A$ 的奇异值分解中的 $m\times n$ 矩形对角矩阵 $\Sigma$。
下面推出后面要用到的一个公式。 因为 $V_2$ 的列向量是 $A^{T}A$ 对应于特征值为0的特征向量，因此 $V_2$ 的列向量工程了A的零空间的一组标准正交基。因此 $$A{V}_2=0$$ 由于 $V$ 是正交矩阵，则$$I=V{V}^T=V_1{V}_1^T+V_2{V}_2^T$$ $$A=AI=A{V}_1{V}_1^T+A{V}_2{V}_2^T=A{V}_1{V}_1^T$$
（2）确定 $U$

接着构造m阶正交矩阵 $U$，令$$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\dots ,r$$ $$U1=\left(\begin{array}{cccc}{u}_1& u_2& \dots & u_r\end{array}\right)$$
则有$$A{V}_1=U_1{\Sigma }_1$$ $U_1$ 的列向量构成了一组标准正交基，因为$$u_i^T{u}_j=(\frac{1}{{\sigma }_i}{v}_i^T{A}^T)(\frac{1}{{\sigma }_j}A{v}_j)$$ $$=\frac{1}{{\sigma }_i{\sigma }_j}{v}_i^T(A^{T}A{v}_j)$$ $$=\frac{{\sigma }_j}{{\sigma }_i}{v}_i^T{v}_j$$$$={\delta }_{ij},i=1,2,\dots ,r;j=1,2,\dots ,r$$令 { u r + 1 , u r + 2 , … , u m } \{u_{r+1},u_{r+2},\dots,u_m\} {ur+1​,ur+2​,…,um​} 为 $N(A^T)$ 的一组标准正交基，并令$$U_2=\left(\begin{array}{cccc}{u}_{r+1}& u_{r+2}& \dots & u_m\end{array}\right)$$ $$U=\left(\begin{array}{cc}{U}_1& U_2\end{array}\right)$$则 $u_1,u_2,\dots ,u_m$ 构成了 $R^m$ 的一组标准正交基。因此，$U$ 是m阶正交矩阵，这就是矩阵 $A$ 的奇异值分解中的m阶正交矩阵。

（3）证明 $U\Sigma V^T=A$

由上述推导可知$$U\Sigma V^T=\left(\begin{array}{cc}{U}_1& U_2\end{array}\right)\left(\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right)\left(\begin{array}{c}{V}_1^T\\ V_2^T\end{array}\right)$$$$=U_1{\Sigma }_1{V}_1^T$$$$=A{V}_1{V}_1^T$$$$=A$$
至此证明了矩阵 $A$ 存在奇异值分解。

紧奇异值分解和截断奇异值分解

定理3.1 给出的奇异值分解 $$A=U\Sigma V^T$$又称为完全奇异值分解。实际常用的奇异值分解是紧凑形式和截断形式。

【紧奇异值分解】

定义3.2（紧奇异值分解） 设有 $m\times n$ 实矩阵 $A$，其秩为 $rank(A)=r,r\le min(m,n)$，则称 $U_r{\Sigma }_r{V}_r^T$ 为 $A$ 的紧奇异值分解，即 $$A=U_r{\Sigma }_r{V}_r^T$$
其中 $U_r$ 是 $m\times r$ 矩阵，$V_r$ 是 $n\times r$ 矩阵，${\Sigma }_r$ 是 r 阶对角矩阵，矩阵 $U_r$ 由完全奇异值分解中 $U$ 的前 r 列，矩阵 $V_r$ 由 $V$ 的前r列，矩阵 ${\Sigma }_r$ 由 $\Sigma$ 的前r个对角线元素得到，紧奇异值分解的对角矩阵 ${\Sigma }_r$ 的秩与原始矩阵 $A$ 的秩相等。

【截断奇异值分解】

定义3.3（截断奇异值分解） 设 $A$ 为 $m\times n$ 实矩阵，其秩 $rank(A)=r，且0<k<r$，则称 $U_k{\Sigma }_k{V}_k^T$ 为矩阵 $A$ 的截断奇异值分解$$A\approx U_k{\Sigma }_k{V}_k^T$$其中， $U_k$ 是 $m\times k$ 矩阵，$V_k$ 是 $n\times k$ 矩阵，${\Sigma }_k$ 是 k 阶对角矩阵； 矩阵 $U_k$ 由完全奇异值分解中 $U$ 的前 k 列，矩阵 $V_k$ 由 $V$ 的前 k 列，矩阵 ${\Sigma }_k$ 由 $\Sigma$ 的前 k 个对角线元素得到。对角矩阵 ${\Sigma }_k$ 的秩比原始矩阵 $A$ 的秩低。

【注】：
（1）实际应用中提到的矩阵的奇异值分解时，通常指的是截断奇异值分解。
（2）紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩。

SVD的主要性质

【1】 设矩阵 $A$ 的奇异值分解为 $A=U\Sigma V^T$，则以下关系成立：$$A^{T}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T$$ $$A{A}^T=(U\Sigma V^T)(U\Sigma V^T{)}^T=U(\Sigma {\Sigma }^T)U^T$$，也就是说，矩阵 $A^{T}A$ 和 $A{A}^T$ 的特征分解存在，且可以由矩阵 $A$ 的奇异值分解的矩阵表示。

【2】矩阵 $A$ 的奇异值分解中，奇异值 ${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_n$ 是唯一的，而矩阵 $U$ 和 $V$ 不是唯一的。

【3】矩阵 $A$ 和 $\Sigma$ 的秩相等，等于正奇异值 ${\sigma }_i$ 的个数 $r$ （包含重复的奇异值）。

【注】：掌握了前边所述的SVD的构造，奇异值分解的计算也就明白了。关于奇异值分解的计算和奇异值分解与矩阵近似的相关内容，感兴趣的可以参考参考文献[1]。

【参考文献】

[1] 统计学习方法 / 李航著。—2版。—北京：清华大学出版社，2019