第十五章奇异值分解（SVD）

亲持红叶

于 2022-09-01 21:46:43 发布

阅读量216

点赞数

分类专栏：统计学习方法公式推导文章标签：线性代数矩阵算法

本文链接：https://blog.csdn.net/hbkybkzw/article/details/126652073

版权

统计学习方法公式推导专栏收录该内容

15 篇文章 2 订阅

订阅专栏

文章目录

- 第十五章奇异值分解（SVD）

第十五章奇异值分解（SVD）

相关英文释义：
1. 奇异值分解（singular value decomposition）
2. 正交矩阵 ( orthogonal matrix)
3. 矩形对角矩阵 ( rectangular diagonal matrix)
4. 奇异值 ( singular value )
5. 左奇异向量 (left singular vector)
6. 右奇异向量 (right singular vector)
7. 完全奇异值分解(full singular value decomposition)
8. 紧奇异值分解 ( compact singular value decomposition)
9. 截断奇异值分解 ( truncated singular value decomposition)

奇异值分解的定义

定义 15.1 (奇异值分解、完全奇异值分解) 矩阵的奇异值分解是指, 将一个非零的 $\times n$ 实矩阵 $\in \mathbf{R}^{m \times n}$ , 表示为以下三个实矩阵乘积形式的运算 (1), 即进行矩阵的因子分解:
$\Sigma V^{\mathrm{T}}$
其中 $U$ 是 $m$ 阶正交矩阵 , $V$ 是 $n$ 阶正交矩阵, $\Sigma$ 是由降序排列的非负的对角线元素组成的 $\times n$ 矩形对角矩阵 , 满足
$\begin{aligned} &U U^{\mathrm{T}}=I \\ &V V^{\mathrm{T}}=I \\ &\Sigma=\operatorname{diag}\left(\sigma_1, \sigma_2, \cdots, \sigma_p\right) \\ &\sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_p \geqslant 0 \\ &p=\min (m, n) \end{aligned}$
$\Sigma V^{\mathrm{T}}$ 称为矩阵 $A$ 的奇异值分解 $\sigma_i$ 称为矩阵 $A$ 的奇异值 , $U$ 的列向量称为左奇异向量 , $V$ 的列向量称为右奇异向量。
注意奇异值分解不要求矩阵A是方阵，矩阵的奇异值分解可以看作是方阵对角化的推广。

奇异值分解的基本定理(完全奇异值分解)

定理 15.1 (奇异值分解基本定理) 若 $A$ 为一 $\times n$ 实矩阵, $\in \mathbf{R}^{m \times n}$ , 则 $A$ 的奇异值分解存在
$\Sigma V^{\mathrm{T}}$
其中 $U$ 是 $m$ 阶正交矩阵, $V$ 是 $n$ 阶正交矩阵, $\Sigma$ 是 $\times n$ 矩形对角矩阵, 其对角线元素非负, 且按降序排列。
证明

证明是构造性的, 对给定的矩阵 $A$ , 构造出其奇异值分解的各个矩阵。为了方便，不妨假设 $\geqslant n$ , 如果 $m < n$ ,将A转置，
$\begin{aligned} A^T & = U \Sigma V^{\mathrm{T}} \\ \Rightarrow A &=(U \Sigma V^{\mathrm{T}})^T\\ \Rightarrow A &= V \Sigma U^{\mathrm{T}} \end{aligned}$
证明仍然成立。

证明由三步完成。
1. 确定 $V$ 和 $\Sigma$
  首先构造 $n$ 阶正交实矩阵 $V$ 和 $\times n$ 矩形对角实矩阵 $\Sigma_{\text {。 }}$
  矩阵 $A$ 是 $\times n$ 实矩阵, 则矩阵 $A^{\mathrm{T}} A$ 是 $n$ 阶实对称矩阵。因而 $A^{\mathrm{T}} A$ 的特征值都是实数, 并且存在一个 $n$ 阶正交实矩阵 $V$ 实现 $A^{\mathrm{T}} A$ 的对角化, 使得 $V^{\mathrm{T}}\left(A^{\mathrm{T}} A\right) V=\Lambda$ 成立, 其中 $\Lambda$ 是 $n$ 阶对角矩阵, 其对角线元素由 $A^{\mathrm{T}} A$ 的特征值组成。
  而且, $A^{\mathrm{T}} A$ 的特征值都是非负的。事实上, 令 $\lambda$ 是 $A^{\mathrm{T}} A$ 的一个特征值, $x$ 是对应的特征向量, 则
  $\|A x\|^2=x^{\mathrm{T}} A^{\mathrm{T}} A x=\lambda x^{\mathrm{T}} x=\lambda\|x\|^2$
  于是
  $\lambda=\frac{\|A x\|^2}{\|x\|^2} \geqslant 0$
  可以假设正交矩阵 $V$ 的列的排列使得对应的特征值形成降序排列
  $\lambda_1 \geqslant \lambda_2 \geqslant \cdots \geqslant \lambda_n \geqslant 0$
  计算特征值的平方根 (实际就是矩阵 $A$ 的奇异值)
  $\sigma_j=\sqrt{\lambda_j}, \quad j=1,2, \cdots, n$
  设矩阵 $A$ 的秩是 $\operatorname{rank}(A)=r$ , 则矩阵 $A^{\mathrm{T}} A$ 的秩也是 $r$ 。由于 $A^{\mathrm{T}} A$ 是对称矩阵, 它的秩等于正的特征值的个数, 所以
  $\lambda_1 \geqslant \lambda_2 \geqslant \cdots \geqslant \lambda_r>0, \quad \lambda_{r+1}=\lambda_{r+2}=\cdots=\lambda_n=0$
  对应地有
  $\sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_r>0, \quad \sigma_{r+1}=\sigma_{r+2}=\cdots=\sigma_n=0$
  令
  $V_1=\left[\begin{array}{llll}\nu_1 & \nu_2 & \cdots & \nu_r\end{array}\right], \quad V_2=\left[\begin{array}{llll}\nu_{r+1} & \nu_{r+2} & \cdots & \nu_n\end{array}\right]$
  
  其中 $\nu_1, \cdots, \nu_r$ 为 $A^{\mathrm{T}} A$ 的正特征值对应的特征向量, $\nu_{r+1}, \cdots, \nu_n$ 为 0 特征值对应的特征向量, 则
  $V=\left[\begin{array}{ll} V_1 & V_2 \end{array}\right]$
  这就是矩阵 $A$ 的奇异值分解中的 $n$ 阶正交矩阵 $V$ 。
  $\Sigma_1=\left[\begin{array}{cccc} \sigma_1 & & & \\ & \sigma_2 & & \\ & & \ddots & \\ & & & \sigma_r \end{array}\right]$
  则 $\Sigma_1$ 是一个 $r$ 阶对角矩阵, 其对角线元素为按降序排列的正的 $\sigma_1, \cdots, \sigma_r$ , 于是 $\times n$ 矩形对角矩阵 $\Sigma$ 可以表为
  $\Sigma=\left[\begin{array}{cc} \Sigma_1 & 0 \\ 0 & 0 \end{array}\right]$
  这就是矩阵 $A$ 的奇异值分解中的 $\times n$ 矩形对角矩阵 $\Sigma_{\text {。 }}$
  下面推出后面要用到的一个公式。在式 $V=\left[\begin{array}{ll} V_1 & V_2 \end{array}\right]$ 中, $V_2$ 的列向量是 $A^{\mathrm{T}} A$ 对应于特
  
  征值为 0 的特征向量。因此
  $A^{\mathrm{T}} A v_j=0, \quad j=r+1, \cdots, n$
  于是, $V_2$ 的列向量构成了 $A^{\mathrm{T}} A$ 的零空间 $N\left(A^{\mathrm{T}} A\right)$ , 而 $N\left(A^{\mathrm{T}} A\right)=N(A)$ 。所以 $V_2$ 的列向量构成 $A$ 的零空间的一组标准正交基。因此,
  $A V_2=0$
  由于 $V$ 是正交矩阵, 由式 $V=\left[\begin{array}{ll} V_1 & V_2 \end{array}\right]$ 可得
  $\begin{gathered} I=V V^{\mathrm{T}}=V_1 V_1^{\mathrm{T}}+V_2 V_2^{\mathrm{T}} \\ A=A I=A V_1 V_1^{\mathrm{T}}+A V_2 V_2^{\mathrm{T}}=A V_1 V_1^{\mathrm{T}} \end{gathered}$
2. 确定 $U$
  接着构造 $m$ 阶正交实矩阵 $U$ 。
  令
  $\begin{gathered} u_j=\frac{1}{\sigma_j} A v_j, \quad j=1,2, \cdots, r \\ U_1=\left[\begin{array}{llll} u_1 & u_2 & \cdots & u_r \end{array}\right] \end{gathered}$
  则有
  $V_1=U_1 \Sigma_1$
  $U_1$ 的列向量构成了一组标准正交集, 因为
  $\begin{aligned} u_i^{\mathrm{T}} u_j &=\left(\frac{1}{\sigma_i} v_i^{\mathrm{T}} A^{\mathrm{T}}\right)\left(\frac{1}{\sigma_j} A v_j\right) \\ &=\frac{1}{\sigma_i \sigma_j} v_i^{\mathrm{T}}\left(A^{\mathrm{T}} A v_j\right) \\ &=\frac{\sigma_j}{\sigma_i} v_i^{\mathrm{T}} v_j \\ &=\delta_{i j}, \quad i=1,2, \cdots, r ; \quad j=1,2, \cdots, r \end{aligned}$
  由式 18 和式 19可知, $u_1, u_2, \cdots, u_r$ 构成 $A$ 的列空间的一组标准正交基, 列空间的维数为 $r$ 。如果将 $A$ 看成是从 $\mathbf{R}^n$ 到 $\mathbf{R}^m$ 的线性变换, 则 $A$ 的列空间和 $A$ 的值域 $R (A)$ 是相同的。因此 $u_1, u_2, \cdots, u_r$ 也是 $R (A)$ 的一组标准正交基。
  
  若 $R(A)^{\perp}$ 表示 $R (A)$ 的正交补, 则有 $R (A)$ 的维数为 $R(A)^{\perp}$ 的维数为 $m - r$ , 两者的维数之和等于 $m$ 。而且有 $R(A)^{\perp}=N\left(A^{\mathrm{T}}\right)$ 成立。(1)
  令 $\left\{u_{r+1}, u_{r+2}, \cdots, u_m\right\}$ 为 $N\left(A^{\mathrm{T}}\right)$ 的一组标准正交基, 并令
  $\begin{aligned} &U_2=\left[\begin{array}{llll} u_{r+1} & u_{r+2} & \cdots & u_m \end{array}\right] \\ &U=\left[\begin{array}{ll} U_1 & U_2 \end{array}\right] \end{aligned}$
  则 $u_1, u_2, \cdots, u_m$ 构成了 $\mathbf{R}^m$ 的一组标准正交基。因此, $U$ 是 $m$ 阶正交矩阵, 这就是矩阵 $A$ 的奇异值分解中的 $m$ 阶正交矩阵。
3. 证明 $\Sigma V^{\mathrm{T}}=A$
  由式 (15.6)、式 (15.7)、式 (15.11)、式 (15.14) 和式 (15.16) 得
  $\begin{aligned} U \Sigma V^{\mathrm{T}} &=\left[\begin{array}{ll} U_1 & U_2 \end{array}\right]\left[\begin{array}{cc} \Sigma_1 & 0 \\ 0 & 0 \end{array}\right]\left[\begin{array}{c} V_1^{\mathrm{T}} \\ V_2^{\mathrm{T}} \end{array}\right] \\ &=U_1 \Sigma_1 V_1^{\mathrm{T}} \\ &=A V_1 V_1^{\mathrm{T}} \\ &=A \end{aligned}$
至此证明了矩阵 $A$ 存在奇异值分解。

紧奇异值分解与截断奇异值分解

上述的称为矩阵的完全奇异值分解，实际常用的是奇异值分解的紧凑形式和截断形式。紧奇异值分解是与原始矩阵等秩的奇异值分解, 截断奇异值分解是比原始矩阵低秩的奇异值分解。
紧奇异值分解
定义 15.2 设有 $\times n$ 实矩阵 $A$ , 其秩为 $\operatorname{rank}(A)=r, r \leqslant \min (m, n)$ , 则称 $U_r \Sigma_r V_r^{\mathrm{T}}$ 为 $A$ 的紧奇异值分解, 即
$A=U_r \Sigma_r V_r^{\mathrm{T}}$

其中 $U_r$ 是 $\times r$ 矩阵, $V_r$ 是 $\times r$ 矩阵, $\Sigma_r$ 是 $r$ 阶对角矩阵; 矩阵 $U_r$ 由完全奇异值分解中 $U$ 的前 $r$ 列、矩阵 $V_r$ 由 $V$ 的前 $r$ 列、矩阵 $\Sigma_r$ 由 $\Sigma$ 的前 $r$ 个对角线元素得到。紧奇异值分解的对角矩阵 $\Sigma_r$ 的秩与原始矩阵 $A$ 的秩相等。
截断奇异值分解
在矩阵的奇异值分解中, 只取最大的 $k$ 个奇异值 ( $k < r, r$ 为矩阵的秩) 对应的部分, 就得到矩阵的截断奇异值分解。实际应用中提到矩阵的奇异值分解时, 通常指截断奇异值分解。
定义 $15.3$ 设 $A$ 为 $\times n$ 实矩阵, 其秩 $\operatorname{rank}(A)=r$ , 且 $0 < k < r$ , 则称 $U_k \Sigma_k V_k^{\mathrm{T}}$ 为矩阵 $A$ 的截断奇异值分解。
$\approx U_k \Sigma_k V_k^{\mathrm{T}}$
其中 $U_k$ 是 $\times k$ 矩阵, $V_k$ 是 $\times k$ 矩阵, $\Sigma_k$ 是 $k$ 阶对角矩阵; 矩阵 $U_k$ 由完全奇异值分解中 $U$ 的前 $k$ 列、矩阵 $V_k$ 由 $V$ 的前 $k$ 列、矩阵 $\Sigma_k$ 由 $\Sigma$ 的前 $k$ 个对角线元素得到. 对角矩阵 $\Sigma_k$ 的秩比原始矩阵 $A$ 的秩低。

奇异值分解的计算步骤

给定 $\times n$ 矩阵 $A$ , 奇异值分解的计算过程分为四步骤。
1. 求 $A^{\mathrm{T}} A$ 的特征值和特征向量。
  
  计算对称矩阵 $W=A^{\mathrm{T}} A$ 。
  求解特征方程
  $(W-\lambda I) x=0$
  得到特征值 $\lambda_i$ , 并将特征值由大到小排列
  $\lambda_1 \geqslant \lambda_2 \geqslant \cdots \geqslant \lambda_n \geqslant 0$
  将特征值 $\lambda_i(i=1,2, \cdots, n)$ 代入特征方程求得对应的特征向量。
2. 求 $n$ 阶正交矩阵 $V$
  
  将特征向量单位化, 得到单位特征向量 $v_1, v_2, \cdots, v_n$ , 构成 $n$ 阶正交矩阵 $V$ :
  $V=\left[\begin{array}{llll} v_1 & v_2 & \cdots & v_n \end{array}\right]$
3. 求 $\times n$ 对角矩阵 $\Sigma$
  
  计算 $A$ 的奇异值
  $\sigma_i=\sqrt{\lambda_i}, \quad i=1,2, \cdots, n$
  构造 $\times n$ 矩形对角矩阵 $\Sigma$ , 主对角线元素是奇异值, 其余元素是零,
  $\Sigma=\operatorname{diag}\left(\sigma_1, \sigma_2, \cdots, \sigma_n\right)$
4. 求 $m$ 阶正交矩阵U
  
  对 $A$ 的前 $r$ 个正奇异值, 令
  $u_j=\frac{1}{\sigma_j} A v_j, \quad j=1,2, \cdots, r$
  得到
  $U_1=\left[\begin{array}{llll} u_1 & u_2 & \cdots & u_r \end{array}\right]$
  求 $A^{\mathrm{T}}$ 的零空间的一组标准正交基 $\left\{u_{r+1}, u_{r+2}, \cdots, u_m\right\}$ , 令
  $U_2=\left[\begin{array}{llll} u_{r+1} & u_{r+2} & \cdots & u_m \end{array}\right]$
  并令
  $U=\left[\begin{array}{ll} U_1 & U_2 \end{array}\right]$
5. 得到奇异值分解
  $\Sigma V^{\mathrm{T}}$

奇异值分解的计算示例

试求矩阵
$A=\left[\begin{array}{ll} 1 & 1 \\ 2 & 2 \\ 0 & 0 \end{array}\right]$
的奇异值分解。
解:
1. 求矩阵 $A^{\mathrm{T}} A$ 的特征值和特征向量
  
  求对称矩阵 $A^{\mathrm{T}} A$
  $A^{\mathrm{T}} A=\left[\begin{array}{lll} 1 & 2 & 0 \\ 1 & 2 & 0 \end{array}\right]\left[\begin{array}{ll} 1 & 1 \\ 2 & 2 \\ 0 & 0 \end{array}\right]=\left[\begin{array}{ll} 5 & 5 \\ 5 & 5 \end{array}\right]$
  特征值 $\lambda$ 和特征向量 $x$ 满足特征方程
  $\left(A^{\mathrm{T}} A-\lambda I\right) x=0$
  得到齐次线性方程组
  $\left\{\begin{array}{cc} (5-\lambda) x_1+ & 5 x_2=0 \\ 5 x_1+ & (5-\lambda) x_2=0 \end{array}\right.$
  该方程组有非零解的充要条件是
  $\left|\begin{array}{cc} 5-\lambda & 5 \\ 5 & 5-\lambda \end{array}\right|=0$
  即
  $\lambda^2-10 \lambda=0$
  解此方程, 得矩阵 $A^{\mathrm{T}} A$ 的特征值 $\lambda_1=10$ 和 $\lambda_2=0$ 。
  将特征值 $\lambda_1=10$ 代入线性方程组, 得到对应的单位特征向量
  $v_1=\left[\begin{array}{c} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{array}\right]$
  同样得到特征值 $\lambda_2=0$ 对应的单位特征向量
  $v_2=\left[\begin{array}{c} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{array}\right]$
2. 求正交矩阵 $V$
  构造正交矩阵 $V$
  $V=\left[\begin{array}{cc} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{array}\right]$
3. 求对角矩阵 $\Sigma$
  奇异值为 $\sigma_1=\sqrt{\lambda_1}=\sqrt{10}$ 和 $\sigma_2=0$ 。构造对角矩阵
  $\Sigma=\left[\begin{array}{cc} \sqrt{10} & 0 \\ 0 & 0 \\ 0 & 0 \end{array}\right]$
  注意在 $\Sigma$ 中要加上零行向量, 使得 $\Sigma$ 能够与 $U, V$ 进行矩阵乘法运算。
4. 求正交矩阵 $U$
  基于 $A$ 的正奇异值计算得到列向量 $u_1$
  $u_1=\frac{1}{\sigma_1} A v_1=\frac{1}{\sqrt{10}}\left[\begin{array}{ll} 1 & 1 \\ 2 & 2 \\ 0 & 0 \end{array}\right]\left[\begin{array}{c} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{array}\right]=\left[\begin{array}{c} \frac{1}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} \\ 0 \end{array}\right]$
  列向量 $u_2, u_3$ 是 $A^{\mathrm{T}}$ 的零空间 $N\left(A^{\mathrm{T}}\right)$ 的一组标准正交基。为此, 求解以下线性方程组
  $A^{\mathrm{T}} x=\left[\begin{array}{lll} 1 & 2 & 0 \\ 1 & 2 & 0 \end{array}\right]\left[\begin{array}{l} x_1 \\ x_2 \\ x_3 \end{array}\right]=\left[\begin{array}{l} 0 \\ 0 \end{array}\right]$
  即
  $\begin{gathered} x_1+2 x_2+0 x_3=0 \\ x_1=-2 x_2+0 x_3 \end{gathered}$
  分别取 $\left(x_2, x_3\right)$ 为 $(1, 0)$ 和 $(0, 1)$ , 得到 $N\left(A^{\mathrm{T}}\right)$ 的基
  $(-2,1,0)^{\mathrm{T}}, \quad(0,0,1)^{\mathrm{T}}$
  $N\left(A^{\mathrm{T}}\right)$ 的一组标准正交基是
  $u_2=\left(-\frac{2}{\sqrt{5}}, \frac{1}{\sqrt{5}}, 0\right)^{\mathrm{T}}, \quad u_3=(0,0,1)^{\mathrm{T}}$
  构造正交矩阵 $U$
  $U=\left[\begin{array}{ccc} \frac{1}{\sqrt{5}} & -\frac{2}{\sqrt{5}} & 0 \\ \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} & 0 \\ 0 & 0 & 1 \end{array}\right]$
5. 矩阵 $A$ 的奇异值分解
  $\Sigma V^{\mathrm{T}}=\left[\begin{array}{ccc} \frac{1}{\sqrt{5}} & -\frac{2}{\sqrt{5}} & 0 \\ \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} & 0 \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{cc} \sqrt{10} & 0 \\ 0 & 0 \\ 0 & 0 \end{array}\right]\left[\begin{array}{cc} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{array}\right]$

亲持红叶

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
第十五章奇异值分解（SVD）

矩阵的奇异值分解是指, 将一个非零的 m×nm \times nm×n 实矩阵 A,A∈Rm×nA, A \in \mathbf{R}^{m \times n}A,A∈Rm×n, 表示为以下三个实矩阵乘积形式的运算 (1), 即进行矩阵的因子分解:A=UΣVTA=U \Sigma V^{\mathrm{T}}A=UΣVT其中 UUU 是 mmm 阶正交矩阵 , VVV 是 nnn 阶正交矩阵, Σ\SigmaΣ 是由降序排列的非负的对角线元素组成的 m×nm \times nm×n 矩形对角矩阵
复制链接

扫一扫