【李航】统计学习方法--15. 奇异值分解（详细推导）

• 奇异值分解(singular value decomposition, SVD)是一种矩阵因子分解方法,是线性代数的概念
• 任意一个mxn矩阵,都可以表示为三个矩阵的乘积(因子分解)形式,分别是m阶正交矩阵、由降序排列的非负的对角线元素组成的mxn矩形对角矩阵和n阶正交矩阵,称为该矩阵的奇异值分解。
• 矩阵的奇异值分解一定存在,但不唯一。
• 奇异值分解可以看作是矩阵数据压缩的一种方法,即用因子分解的方式近似地表示原始矩阵,这种近似是在平方损失意义下的最优近似。
  

---

15.1 奇异值分解的定义与性质

---

15.1.1 定义与定理

---

定义 $15.1$ (奇异值分解） 矩阵的奇异值分解是指, 将一个非零的 $m\times n$ 实矩阵 $A$, $A\in {\mathbf{R}}^{m\times n}$, 表示为以下三个实矩阵乘积形式的运算 , 即进行矩阵的因子分解:

$$A=U\Sigma V^{\mathrm{T}}$$

其中 $U$ 是 $m$ 阶正交矩阵 ( orthogonal matrix ), $V$ 是 $n$ 阶正交矩阵, $\Sigma$ 是由降序排列的非负的对角线元素组成的 $m\times n$ 矩形对角矩阵 ( rectangular diagonal matrix ), 满足

$$\begin{array}{l}U{U}^{\mathrm{T}}=I\\ V{V}^{\mathrm{T}}=I\\ \Sigma =\mathrm{diag}\left({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_p\right)\\ {\sigma }_1⩾{\sigma }_2⩾\cdots ⩾{\sigma }_p⩾0\\ p=\min (m,n)\end{array}$$

$U\Sigma V^{\mathrm{T}}$ 称为矩阵 $A$ 的奇异值分解( singular value decomposition, $\mathrm{S}\mathrm{V}\mathrm{D}),{\sigma }_i$ 称为矩阵 $A$ 的奇异值 ( singular value ), $U$ 的列向量称为左奇异向量 ( left singular vector ), $V$的列向量称为右奇异向量 ( right singular vector)。

• 正交矩阵：满足 $A^{T}A=I$ 的矩阵.
  理解正交矩阵 https://zhuanlan.zhihu.com/p/258464098?utm_source=wechat_session
• 是正交矩阵，自然满足$A^T=A^{-1}$

注意:奇异值分解不要求矩阵 $A$ 是方阵

定理 $15.1$ (奇异值分解基本定理） 若 $A$ 为一 $m\times n$ 实矩阵, $A\in {\mathbf{R}}^{m\times n}$, 则 $A$的奇异值分解存在

$$A=U\Sigma V^{\mathrm{T}}$$

其中 $U$ 是 $m$ 阶正交矩阵, $V$ 是 $n$ 阶正交矩阵, $\Sigma$ 是 $m\times n$ 矩形对角矩阵, 其对角线 元素非负，且按降序排列。

证明 证明是构造性的, 对给定的矩阵 $A$, 构造出其奇异值分解的各个矩阵。为 了方便, 不妨假设 $m⩾n$, 如果 $m<n$ 证明仍然成立。证明由三步完成。

1. 确定 $V$ 和 $\Sigma$
   首先构造 $n$ 阶正交实矩阵 $V$ 和 $m\times n$ 矩形对角实矩阵 $\Sigma$ 。
   矩阵 $A$ 是 $m\times n$ 实矩阵, 则矩阵 $A^{\mathrm{T}}A$ 是 $n$ 阶实对称矩阵。因而 $A^{\mathrm{T}}A$ 的特征值都是实数, 并且存在一个 $n$ 阶正交实矩阵 $V$ 实现 $A^{\mathrm{T}}A$ 的对角化, 使得 $V^{\mathrm{T}}\left(A^{\mathrm{T}}A\right)V=\Lambda$ 成立, 其中 $\Lambda$ 是 $n$ 阶对角矩阵, 其对角线元素由 $A^{\mathrm{T}}A$ 的特征值组成。

   证明：$A^{T}A$是实对称矩阵
   ​$(A^{T}A{)}^T=A^T(A^T{)}^T=A^{\mathrm{T}}A$

   一个n*n矩阵M可正交对角化的充要条件是M是对称矩阵

   $A^{T}A=V\Lambda V^{-1}==>V^{-1}{A}^{T}AV=V^{-1}V\Lambda V^{-1}V==>V^{-1}{A}^{T}AV=\Lambda ==>V^T{A}^{T}AV=\Lambda$

   而且, $A^{\mathrm{T}}A$ 的特征值都是非负的。事实上, 令 $\lambda$ 是 $A^{\mathrm{T}}A$ 的一个特征值, $x$ 是对 应的特征向量, 则
   $$\Vert Ax{\Vert }^2=(Ax{)}^{T}Ax=x^{\mathrm{T}}{A}^{\mathrm{T}}Ax=\lambda x^{\mathrm{T}}x=\lambda \Vert x{\Vert }^2$$

   向量的长度（范数）是非负数$\Vert \mathbf{v}\Vert$，定义为

   $$\Vert \mathbf{v}\Vert =\sqrt{\mathbf{v}\cdot \mathbf{v}}=\sqrt{v_1^2+v_2^2+\cdots +v_n^2}\text{ 且 }\Vert \mathbf{v}{\Vert }^2=\mathbf{v}\cdot \mathbf{v}$$

   而$\Vert \mathbf{v}{\Vert }^2=\mathbf{v}\cdot \mathbf{v}={\mathbf{v}}^T\mathbf{v}$

   $A^{T}Ax=\lambda x$

   于是
   $$\lambda =\frac{\Vert Ax{\Vert }^2}{\Vert x{\Vert }^2}⩾0$$

   可以假设正交矩阵 $V$ 的列的排列使得对应的特征值形成降序排列
   $${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_n⩾0$$

   计算特征值的平方根 (实际就是矩阵 $A$ 的奇异值)
   $${\sigma }_j=\sqrt{{\lambda }_j},j=1,2,\cdots ,n$$

   设矩阵 $A$ 的秩是 $r,\mathrm{rank}(A)=r$, 则矩阵 $A^{\mathrm{T}}A$ 的秩也是 $r$ 。由于 $A^{\mathrm{T}}A$ 是对称矩阵, 它的秩等于正的特征值的个数, 所以
   $${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_r>0,{\lambda }_{r+1}={\lambda }_{r+2}=\cdots ={\lambda }_n=0$$

   对应地有
   $${\sigma }_1⩾{\sigma }_2⩾\cdots ⩾{\sigma }_r>0,{\sigma }_{r+1}={\sigma }_{r+2}=\cdots ={\sigma }_n=0$$

   令
   $$V_1=\left[\begin{array}{llllccc}{\nu }_1& {\nu }_2& \cdots & {\nu }_r],V_2=[{\nu }_{r+1}& {\nu }_{r+2}& \cdots & {\nu }_n\end{array}\right].$$

   其中 ${\nu }_1,\cdots ,{\nu }_r$ 为 $A^{\mathrm{T}}A$ 的正特征值对应的特征向量, ${\nu }_{r+1},\cdots ,{\nu }_n$ 为 0 特征值对应的 特征向量, 则
   $$V=\left[\begin{array}{ll}{V}_1& V_2\end{array}\right]$$

   这就是矩阵 $A$ 的奇异值分解中的 $n$ 阶正交矩阵 $V_{\text{。 }}$
   令
   $${\Sigma }_1=\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]$$

   则 ${\Sigma }_1$ 是一个 $r$ 阶对角矩阵, 其对角线元素为按降序排列的正的 ${\sigma }_1,\cdots ,{\sigma }_r$, 于是 $m\times n$ 矩形对角矩阵 $\Sigma$ 可以表为
   $$\Sigma =\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]$$

   这就是矩阵 $A$ 的奇异值分解中的 $m\times n$ 矩形对角矩阵 ${\Sigma }_{\text{。 }}$

   下面推出后面要用到的一个公式。在式 $V=\left[\begin{array}{l}{V}_1;V_2\end{array}\right]$中, $V_2$ 的列向量是 $A^{\mathrm{T}}A$ 对应于特征值为 0 的特征向量。因此

   $$A^{\mathrm{T}}A{v}_j=0,j=r+1,\cdots ,n$$

   于是, $V_2$ 的列向量构成了 $A^{\mathrm{T}}A$ 的零空间 $N\left(A^{\mathrm{T}}A\right)$, 而 $N\left(A^{\mathrm{T}}A\right)=N(A)$ 。所以 $V_2$ 的 列向量构成 $A$ 的零空间的一组标准正交基。因此，

   $$A{V}_2=0$$

   由于 $V$ 是正交矩阵, 由式$V=\left[\begin{array}{l}{V}_1;V_2\end{array}\right]$可得

   $$\begin{array}{c}I=V{V}^{\mathrm{T}}=V_1{V}_1^{\mathrm{T}}+V_2{V}_2^{\mathrm{T}}\\ A=AI=A{V}_1{V}_1^{\mathrm{T}}+A{V}_2{V}_2^{\mathrm{T}}=A{V}_1{V}_1^{\mathrm{T}}\end{array}$$

2. 确定 $U$
   接着构造 $m$ 阶正交实矩阵 $U$ 。
   令
   $$\begin{array}{c}{u}_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\cdots ,r①\\ U_1=\left[\begin{array}{llll}{u}_1& u_2& \cdots & u_r\end{array}\right]\end{array}$$

   则有
   $$A{V}_1=U_1{\Sigma }_1$$

   $$A{V}_1=A[\begin{array}{llll}{\nu }_1& {\nu }_2& \cdots & {\nu }_r]\end{array}=\left[\begin{array}{llll}{u}_1& u_2& \cdots & u_r\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]=U_1{\Sigma }_1$$

   $U_1$ 的列向量构成了一组标准正交集, 因为
   $$\begin{array}{rl}{u}_i^{\mathrm{T}}{u}_j& =\left(\frac{1}{{\sigma }_i}{v}_i^{\mathrm{T}}{A}^{\mathrm{T}}\right)\left(\frac{1}{{\sigma }_j}A{v}_j\right)\\ & =\frac{1}{{\sigma }_i{\sigma }_j}{v}_i^{\mathrm{T}}\left(A^{\mathrm{T}}A{v}_j\right)\\ & =\frac{1}{{\sigma }_i{\sigma }_j}{v}_i^{\mathrm{T}}\left({\sigma }_j^2{v}_j\right)\\ & =\frac{{\sigma }_j}{{\sigma }_i}{v}_i^{\mathrm{T}}{v}_j\\ & ={\delta }_{ij},i=1,2,\cdots ,r;j=1,2,\cdots ,r\end{array}②$$

   由式 ①和式② 可知, $u_1,u_2,\cdots ,u_r$ 构成 $A$ 的列空间的一组标准正交基, 列空间的维数为 $r_{\circ }$ 如果将 $A$ 看成是从 ${\mathbf{R}}^n$ 到 ${\mathbf{R}}^m$ 的线性变换, 则 $A$ 的列空间和 $A$ 的值域 $R(A)$ 是相同的。因此 $u_1,u_2,\cdots ,u_r$ 也是 $R(A)$ 的一组标准正交基。
   若 $R(A{)}^{\perp }$ 表示 $R(A)$ 的正交补, 则有 $R(A)$ 的维数为 $r,R(A{)}^{\perp }$ 的维数为 $m-r$, 两者的维数之和等于 $m$ 。而且有 $R(A{)}^{\perp }=N\left(A^{\mathrm{T}}\right)$ 成立。 令 { u r + 1 , u r + 2 , ⋯   , u m } \left\{u_{r+1}, u_{r+2}, \cdots, u_{m}\right\} {ur+1​,ur+2​,⋯,um​} 为 $N\left(A^{\mathrm{T}}\right)$ 的一组标准正交基, 并令
   $$\begin{array}{rl}& U_2=\left[\begin{array}{llll}{u}_{r+1}& u_{r+2}& \cdots & u_m\end{array}\right]\\ & U=\left[\begin{array}{ll}{U}_1& U_2\end{array}\right]\end{array}$$

   则 $u_1,u_2,\cdots ,u_m$ 构成了 ${\mathbf{R}}^m$ 的一组标准正交基。因此, $U$ 是 $m$ 阶正交矩阵, 这就是 矩阵 $A$ 的奇异值分解中的 $m$ 阶正交矩阵。
   (3) 证明 $U\Sigma V^{\mathrm{T}}=A$
   
   $$\begin{array}{rl}U\Sigma V^{\mathrm{T}}& =\left[\begin{array}{ll}{U}_1& U_2\end{array}\right]\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}{V}_1^{\mathrm{T}}\\ V_2^{\mathrm{T}}\end{array}\right]\\ & =U_1{\Sigma }_1{V}_1^{\mathrm{T}}\\ & =A{V}_1{V}_1^{\mathrm{T}}\\ & =A\end{array}$$

   至此证明了矩阵 $A$ 存在奇异值分解。

---

15.1.2 紧奇异值分解与截断奇异值分解

---

1. 紧奇异值分解
   定义 $15.2$ 设有 $m\times n$ 实矩阵 $A$, 其秩为 $\mathrm{rank}(A)=r,r⩽\min (m,n)$, 则称 $U_r{\Sigma }_r{V}_r^{\mathrm{T}}$ 为 $A$ 的紧奇异值分解 ( compact singular value decomposition ), 即
   
   $$\begin{array}{rl}& A=U_r{\Sigma }_r{V}_r^{\mathrm{T}}\end{array}$$

   其中 $U_r$ 是 $m\times r$ 矩阵, $V_r$ 是 $n\times r$ 矩阵, ${\Sigma }_r$ 是 $r$ 阶对角矩阵; 矩阵 $U_r$ 由完全奇异值分解中 $U$ 的前 $r$ 列、矩阵 $V_r$ 由 $V$ 的前 $r$ 列、矩阵 ${\Sigma }_r$ 由 $\Sigma$ 的前 $r$ 个对角线元素得到。紧奇异值分解的对角矩阵 ${\Sigma }_r$ 的秩与原始矩阵 $A$ 的秩相等。

2. 截断奇异值分解
   在矩阵的奇异值分解中, 只取最大的 $k$ 个奇异值 $(k<r,r$ 为矩阵的秩）对应的部分, 就得到矩阵的截断奇异值分解。实际应用中提到矩阵的奇异值分解时, 通常指截断奇异值分解。
   定义 $15.3$ 设 $A$ 为 $m\times n$ 实矩阵, 其秩 $\mathrm{rank}(A)=r$, 且 $0<k<r$, 则称 $U_k{\Sigma }_k{V}_k^{\mathrm{T}}$ 为矩阵 $A$ 的截断奇异值分解 ( truncated singular value decomposition )
   $$A\approx U_k{\Sigma }_k{V}_k^{\mathrm{T}}$$

   其中 $U_k$ 是 $m\times k$ 矩阵, $V_k$ 是 $n\times k$ 矩阵, ${\Sigma }_k$ 是 $k$ 阶对角矩阵; 矩阵 $U_k$ 由完全奇异值分解中 $U$ 的前 $k$ 列、矩阵 $V_k$ 由 $V$ 的前 $k$ 列、矩阵 ${\Sigma }_k$ 由 $\Sigma$ 的前 $k$ 个对角线元素 得到。对角矩阵 ${\Sigma }_k$ 的秩比原始矩阵 $A$ 的秩低。

• 紧奇异值分解对应着无损压缩
• 截断奇异值分解对应着有损压缩。

---

15.1.3 几何解释

---

任意一个向量 $x\in {\mathbf{R}}^n$, 经过基于 $A=U\Sigma V^{\mathrm{T}}$ 的线性变换，等价于经过坐标系 的旋转或反射变换 $V^{\mathrm{T}}$, 坐标轴的缩放变换 $\Sigma$, 以及坐标系的旋转或反射变换 $U$, 得 到向量 $Ax\in {\mathbf{R}}^m$ 。

---

15.1.4 主要性质

---

1. 设矩阵 $A$ 的奇异值分解为 $A=U\Sigma V^{\mathrm{T}}$, 则以下关系成立:
   $$\begin{array}{rl}& A^{\mathrm{T}}A={\left(U\Sigma V^{\mathrm{T}}\right)}^{\mathrm{T}}\left(U\Sigma V^{\mathrm{T}}\right)=V\left({\Sigma }^{\mathrm{T}}\Sigma \right)V^{\mathrm{T}}\\ & A{A}^{\mathrm{T}}=\left(U\Sigma V^{\mathrm{T}}\right){\left(U\Sigma V^{\mathrm{T}}\right)}^{\mathrm{T}}=U\left(\Sigma {\Sigma }^{\mathrm{T}}\right)U^{\mathrm{T}}\end{array}$$

   矩阵 $A^{\mathrm{T}}A$ 和 $A{A}^{\mathrm{T}}$ 的特征分解存在, 且可以由矩阵 $A$ 的奇异值分解 的矩阵表示。 $V$ 的列向量是 $A^{\mathrm{T}}A$ 的特征向量, $U$ 的列向量是 $A{A}^{\mathrm{T}}$ 的特征向量, $\Sigma$ 的 奇异值是 $A^{\mathrm{T}}A$ 和 $A{A}^{\mathrm{T}}$ 的特征值的平方根。

2. 在矩阵 $A$ 的奇异值分解中, 奇异值、左奇异向量和右奇异向量之间存在对应 关系。
   由 $A=U\Sigma V^{\mathrm{T}}$ 易知
   $$AV=U\Sigma$$

   比较这一等式两端的第 $j$ 列, 得到
   $$A{v}_j={\sigma }_j{u}_j,j=1,2,\cdots ,n$$

   这是矩阵 $A$ 的右奇异向量和奇异值、左奇异向量的关系。
   类似地, 由
   $$A^{\mathrm{T}}U=V{\Sigma }^{\mathrm{T}}$$

   得到
   $$\begin{array}{c}{A}^{\mathrm{T}}{u}_j={\sigma }_j{v}_j,j=1,2,\cdots ,n\\ A^{\mathrm{T}}{u}_j=0,j=n+1,n+2,\cdots ,m\end{array}$$

   这是矩阵 $A$ 的左奇异向量和奇异值、右奇异向量的关系。

3. 矩阵 $A$ 的奇异值分解中, 奇异值 ${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n$ 是唯一的, 而矩阵 $U$ 和 $V$ 不 是唯一的。

4. 矩阵 $A$ 和 $\Sigma$ 的秩相等, 等于正奇异值 ${\sigma }_i$ 的个数 $r$ (包含重复的奇异值)。

5. 矩阵 $A$ 的 $r$ 个右奇异向量 $v_1,v_2,\cdots ,v_r$ 构成 $A^{\mathrm{T}}$ 的值域 $R\left(A^{\mathrm{T}}\right)$ 的一组标准 正交基。因为矩阵 $A^{\mathrm{T}}$ 是从 ${\mathbf{R}}^m$ 映射到 ${\mathbf{R}}^n$ 的线性变换，则 $A^{\mathrm{T}}$ 的值域 $R\left(A^{\mathrm{T}}\right)$ 和 $A^{\mathrm{T}}$ 的列空间是相同的, $v_1,v_2,\cdots ,v_r$ 是 $A^{\mathrm{T}}$ 的一组标准正交基, 因而也是 $R\left(A^{\mathrm{T}}\right)$ 的一组 标准正交基。
   矩阵 $A$ 的 $n-r$ 个右奇异向量 $v_{r+1},v_{r+2},\cdots ,v_n$ 构成 $A$ 的零空间 $N(A)$ 的一组 标准正交基。
   矩阵 $A$ 的 $r$ 个左奇异向量 $u_1,u_2,\cdots ,u_r$ 构成值域 $R(A)$ 的一组标准正交基。 矩阵 $A$ 的 $m-r$ 个左奇异向量 $u_{r+1},u_{r+2},\cdots ,u_m$ 构成 $A^{\mathrm{T}}$ 的零空间 $N\left(A^{\mathrm{T}}\right)$ 的 一组标准正交基。

---

15.2 奇异值分解的计算

---

矩阵奇异值分解的计算过程
给定$m\times n$矩阵$A$

1. 首先求 $A^{\mathrm{T}}A$ 的特征值和特征向量。
   计算对称矩阵 $W=A^{\mathrm{T}}A$ 。
   求解特征方程
   $$(W-\lambda I)x=0$$

   得到特征值 ${\lambda }_i$, 并将特征值由大到小排列
   $${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_n⩾0$$

   将特征值 ${\lambda }_i(i=1,2,\cdots ,n)$ 代入特征方程求得对应的特征向量。

2. 求 $n$ 阶正交矩阵 $V$
   将特征向量单位化, 得到单位特征向量 $v_1,v_2,\cdots ,v_n$, 构成 $n$ 阶正交矩阵 $V$ :
   $$V=\left[\begin{array}{llll}{v}_1& v_2& \cdots & v_n\end{array}\right]$$

3. 求 $m\times n$ 对角矩阵 $\Sigma$
   计算 $A$ 的奇异值
   $${\sigma }_i=\sqrt{{\lambda }_i},i=1,2,\cdots ,n$$

   构造 $m\times n$ 矩形对角矩阵 $\Sigma$, 主对角线元素是奇异值, 其余元素是零,
   $$\Sigma =\mathrm{diag}\left({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n\right)$$

4. 求 $m$ 阶正交矩阵 $U$
   对 $A$ 的前 $r$ 个正奇异值, 令
   $$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\cdots ,r$$

   得到
   $$U_1=\left[\begin{array}{llll}{u}_1& u_2& \cdots & u_r\end{array}\right]$$

   求 $A^{\mathrm{T}}$ 的零空间的一组标准正交基 { u r + 1 , u r + 2 , ⋯   , u m } \left\{u_{r+1}, u_{r+2}, \cdots, u_{m}\right\} {ur+1​,ur+2​,⋯,um​}, 令
   $$U_2=\left[\begin{array}{llll}{u}_{r+1}& u_{r+2}& \cdots & u_m\end{array}\right]$$

   并令
   $$U=\left[\begin{array}{ll}{U}_1& U_2\end{array}\right]$$

5. 得到奇异值分解
   $$A=U\Sigma V^{\mathrm{T}}$$

---

15.3 奇异值分解与矩阵近似

---

15.3.1 弗罗贝尼乌斯范数

---

定义 $15.4$ (弗罗贝尼乌斯范数） 设矩阵 $A\in {\mathbf{R}}^{m\times n},A={\left[a_{ij}\right]}_{m\times n}$, 定义矩阵 $A$ 的弗罗贝尼乌斯范数为

$$\Vert A{\Vert }_F={\left(\sum _{i=1}^m\sum _{j=1}^n{\left(a_{ij}\right)}^2\right)}^{\frac{1}{2}}$$

引理 $15.1$ 设矩阵 $A\in {\mathbf{R}}^{m\times n},A$ 的奇异值分解为 $U\Sigma V^{\mathrm{T}}$, 其中 $\Sigma =\mathrm{diag}({\sigma }_1,$,
${\sigma }_2,\cdots ,{\sigma }_n)$, 则

$$\Vert A{\Vert }_F={\left({\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}$$

证明 一般地, 若 $Q$ 是 $m$ 阶正交矩阵, 则有

$$\Vert QA{\Vert }_F=\Vert A{\Vert }_F$$

因为

$$\begin{array}{rl}\Vert QA{\Vert }_F^2& ={\Vert \left(Q{a}_1,Q{a}_2,\cdots ,Q{a}_n\right)\Vert }_F^2\\ & =\sum _{i=1}^n{\Vert Q{a}_i\Vert }_2^2=\sum _{i=1}^n(Q{a}_i{)}^{T}Q{a}_i=\sum _{i=1}^n{a}_i^T{Q}^{T}Q{a}_i=\sum _{i=1}^n{\Vert a_i\Vert }_2^2=\Vert A{\Vert }_F^2\end{array}$$

同样, 若 $P$ 是 $n$ 阶正交矩阵, 则有

$${\Vert A{P}^{\mathrm{T}}\Vert }_F=\Vert A{\Vert }_F$$

故

$$\Vert A{\Vert }_F={\Vert U\Sigma V^{\mathrm{T}}\Vert }_F=\Vert \Sigma {\Vert }_F$$

即

$$\Vert A{\Vert }_F={\left({\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}$$

---

15.3.2 矩阵的最优近似

---

定理 $15.2$ 设矩阵 $A\in {\mathbf{R}}^{m\times n}$, 矩阵的秩 $\mathrm{rank}(A)=r$, 并设 $\mathcal{M}$ 为 ${\mathbf{R}}^{m\times n}$ 中所
有秩不超过 $k$ 的矩阵集合, $0<k<r$, 则存在一个秩为 $k$ 的矩阵 $X\in \mathcal{M}$, 使得

$$\Vert A-X{\Vert }_F=\underset{S\in \mathcal{M}}{\min }\Vert A-S{\Vert }_F$$

称矩阵 $X$ 为矩阵 $A$ 在弗罗贝尼乌斯范数意义下的最优近似。

定理 $15.3$ 设矩阵 $A\in {\mathbf{R}}^{m\times n}$, 矩阵的秩 $\mathrm{rank}(A)=r$, 有奇异值分解 $A=$ $U\Sigma V^{\mathrm{T}}$, 并设 $\mathcal{M}$ 为 ${\mathrm{R}}^{m\times n}$ 中所有秩不超过 $k$ 的矩阵的集合, $0<k<r$, 若秩为 $k$ 的 矩阵 $X\in \mathcal{M}$ 满足

$$\Vert A-X{\Vert }_F=\underset{S\in \mathcal{M}}{\min }\Vert A-S{\Vert }_F②$$

则

$$\Vert A-X{\Vert }_F={\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}①$$

特别地, 若 $A^{\prime }=U{\Sigma }^{\prime }{V}^{\mathrm{T}}$, 其中

$${\Sigma }^{\prime }=\left[\begin{array}{cccccc}{\sigma }_1& & & & & \\ & \ddots & & & 0& \\ & & {\sigma }_k& & & \\ & & & 0& & \\ & 0& & & \ddots & \\ & & & & & 0\end{array}\right]=\left[\begin{array}{cc}{\Sigma }_k& 0\\ 0& 0\end{array}\right]$$

$$A-A^{\prime }=U\left[\begin{array}{cc}0& 0\\ 0& {\Sigma }_{n-k}\end{array}\right]V^T$$

则

$${\Vert A-A^{\prime }\Vert }_F={\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}=\underset{S\in \mathcal{M}}{\min }\Vert A-S{\Vert }_F$$

证明 令 $X\in \mathcal{M}$ 为满足式 $②$ 的一个矩阵。由于

$$\Vert A-X{\Vert }_F⩽{\Vert A-A^{\prime }\Vert }_F={\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}③$$

下面证明

$$\Vert A-X{\Vert }_F⩾{\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}$$

于是式 ①成立。

设 $X$ 的奇异值分解为 $Q\Omega P^{\mathrm{T}}$, 其中
若令矩阵 $B=Q^{\mathrm{T}}AP$, 则 $A=QB{P}^{\mathrm{T}}$ 。由此得到

$$\Vert A-X{\Vert }_F={\Vert Q(B-\Omega )P^{\mathrm{T}}\Vert }_F=\Vert B-\Omega {\Vert }_F$$

用 $\Omega$ 分块方法对 $B$ 分块

$$B=\left[\begin{array}{ll}{B}_{11}& B_{12}\\ B_{21}& B_{22}\end{array}\right]$$

其中 $B_{11}$ 是 $k\times k$ 子矩阵, $B_{12}$ 是 $k\times (n-k)$ 子矩阵, $B_{21}$ 是 $(m-k)\times k$ 子矩阵, $B_{22}$ 是 $(m-k)\times (n-k)$ 子矩阵。可得

$$\begin{array}{rl}\Vert A-X{\Vert }_F^2& =\Vert B-\Omega {\Vert }_F^2\\ & ={\Vert B_{11}-{\Omega }_k\Vert }_F^2+{\Vert B_{12}\Vert }_F^2+{\Vert B_{21}\Vert }_F^2+{\Vert B_{22}\Vert }_F^2\end{array}$$

现证 $B_{12}=0,B_{21}=0$ 。用反证法。若 $B_{12}\ne 0$, 令

$$Y=Q\left[\begin{array}{cc}{B}_{11}& B_{12}\\ 0& 0\end{array}\right]P^{\mathrm{T}}$$

则 $Y\in \mathcal{M}$, 且

$$\Vert A-Y{\Vert }_F^2={\Vert B_{21}\Vert }_F^2+{\Vert B_{22}\Vert }_F^2<\Vert A-X{\Vert }_F^2$$

这与 $X$ 的定义式 $③$ 矛盾, 证明了 $B_{12}=0$ 。同样可证 $B_{21}=0$ 。于是

$$\Vert A-X{\Vert }_F^2={\Vert B_{11}-{\Omega }_k\Vert }_F^2+{\Vert B_{22}\Vert }_F^2$$

再证 $B_{11}={\Omega }_k$ 。为此令

$$Z=Q\left[\begin{array}{cc}{B}_{11}& 0\\ 0& 0\end{array}\right]P^{\mathrm{T}}$$

则 $Z\in \mathcal{M}$, 且

$$\Vert A-Z{\Vert }_F^2={\Vert B_{22}\Vert }_F^2⩽{\Vert B_{11}-{\Omega }_k\Vert }_F^2+{\Vert B_{22}\Vert }_F^2=\Vert A-X{\Vert }_F^2$$

由式③知, ${\Vert B_{11}-{\Omega }_k\Vert }_F^2=0$, 即 $B_{11}={\Omega }_k$ 。
最后看 $B_{22}$ 。若 $(m-k)\times (n-k)$ 子矩阵 $B_{22}$ 有奇异值分解 $U_1\Lambda V_1^{\mathrm{T}}$, 则

$$\Vert A-X{\Vert }_F={\Vert B_{22}\Vert }_F=\Vert \Lambda {\Vert }_F$$

证明 $\Lambda$ 的对角线元素为 $A$ 的奇异值。为此, 令

$$U_2=\left[\begin{array}{cc}{I}_k& 0\\ 0& U_1\end{array}\right],V_2=\left[\begin{array}{cc}{I}_k& 0\\ 0& V_1\end{array}\right]$$

其中 $I_k$ 是 $k$ 阶单位矩阵, $U_2,V_2$ 的分块与 $B$ 的分块一致。注意到 $B$ 及 $B_{22}$ 的奇异 值分解，即得

$$U_2^{\mathrm{T}}{Q}^{\mathrm{T}}AP{V}_2=\left[\begin{array}{cc}{\Omega }_k& 0\\ 0& \Lambda \end{array}\right]$$

$$A=\left(Q{U}_2\right)\left[\begin{array}{cc}{\Omega }_k& 0\\ 0& \Lambda \end{array}\right]{\left(P{V}_2\right)}^{\mathrm{T}}$$

由此可知 $\Lambda$ 的对角线元素为 $A$ 的奇异值。故有

$$\Vert A-X{\Vert }_F=\Vert \Lambda {\Vert }_F⩾{\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}$$

于是证明了

$$\Vert A-X{\Vert }_F={\left({\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_n^2\right)}^{\frac{1}{2}}={\Vert A-A^{\prime }\Vert }_F$$

---

15.3.3 矩阵的外积展开式

---

下面介绍利用外积展开式对矩阵 $A$ 的近似。矩阵 $A$ 的奇异值分解 $U\Sigma V^{\mathrm{T}}$ 也可以 由外积形式表示。事实上, 若将 $A$ 的奇异值分解看成矩阵 $U\Sigma$ 和 $V^{\mathrm{T}}$ 的乘积, 将 $U\Sigma$ 按列向量分块, 将 $V^{\mathrm{T}}$ 按行向量分块, 即得

$$\begin{array}{c}U\Sigma =\left[\begin{array}{llll}{\sigma }_1{u}_1& {\sigma }_2{u}_2& \cdots & {\sigma }_n{u}_n\end{array}\right]\\ V^{\mathrm{T}}=\left[\begin{array}{c}{v}_1^{\mathrm{T}}\\ v_2^{\mathrm{T}}\\ ⋮\\ v_n^{\mathrm{T}}\end{array}\right]\end{array}$$

则

$$A={\sigma }_1{u}_1{v}_1^{\mathrm{T}}+{\sigma }_2{u}_2{v}_2^{\mathrm{T}}+\cdots +{\sigma }_n{u}_n{v}_n^{\mathrm{T}}$$

上式称为矩阵 $A$ 的外积展开式, 其中 $u_k{v}_k^{\mathrm{T}}$ 为 $m\times n$ 矩阵, 是列向量 $u_k$ 和行 向量 $v_k^{\mathrm{T}}$ 的外积, 其第 $i$ 行第 $j$ 列元素为 $u_k$ 的第 $i$ 个元素与 $v_k^{\mathrm{T}}$ 的第 $j$ 个元素的乘积。即

$$u_i{v}_j^{\mathrm{T}}=\left[\begin{array}{c}{u}_{1i}\\ u_{2i}\\ ⋮\\ u_{mi}\end{array}\right]\left[\begin{array}{llll}{v}_{1j}& v_{2j}& \cdots & v_{nj}\end{array}\right]=\left[\begin{array}{cccc}{u}_{1i}{v}_{1j}& u_{1i}{v}_{2j}& \cdots & u_{1i}{v}_{nj}\\ u_{2i}{v}_{1j}& u_{2i}{v}_{2j}& \cdots & u_{2i}{v}_{nj}\\ ⋮& ⋮& & ⋮\\ u_{mi}{v}_{1j}& u_{mi}{v}_{2j}& \cdots & u_{mi}{v}_{nj}\end{array}\right]$$

$A$ 的外积展开式也可以写成下面的形式

$$A=\sum _{k=1}^n{A}_k=\sum _{k=1}^n{\sigma }_k{u}_k{v}_k^{\mathrm{T}}$$

其中 $A_k={\sigma }_k{u}_k{v}_k^{\mathrm{T}}$ 是 $m\times n$ 矩阵。上式将矩阵 $A$ 分解为矩阵的有序加权和。
由矩阵 $A$ 的外积展开式知, 若 $A$ 的秩为 $n$, 则

$$A={\sigma }_1{u}_1{v}_1^{\mathrm{T}}+{\sigma }_2{u}_2{v}_2^{\mathrm{T}}+\cdots +{\sigma }_n{u}_n{v}_n^{\mathrm{T}}$$

设矩阵

$$A_{n-1}={\sigma }_1{u}_1{v}_1^{\mathrm{T}}+{\sigma }_2{u}_2{v}_2^{\mathrm{T}}+\cdots +{\sigma }_{n-1}{u}_{n-1}{v}_{n-1}^{\mathrm{T}}$$

则 $A_{n-1}$ 的秩为 $n-1$, 并且 $A_{n-1}$ 是秩为 $n-1$ 矩阵在弗罗贝尼乌斯范数意义下 $A$ 的 最优近似矩阵。
类似地, 设矩阵

$$A_{n-2}={\sigma }_1{u}_1{v}_1^{\mathrm{T}}+{\sigma }_2{u}_2{v}_2^{\mathrm{T}}+\cdots +{\sigma }_{n-2}{u}_{n-2}{v}_{n-2}^{\mathrm{T}}$$

则 $A_{n-2}$ 的秩为 $n-2$, 并且 $A_{n-2}$ 是秩为 $n-2$ 矩阵中在弗罗贝尼乌斯范数意义下 $A$ 的最优近似矩阵。以此类推。一般地，设矩阵

$$A_k={\sigma }_1{u}_1{v}_1^{\mathrm{T}}+{\sigma }_2{u}_2{v}_2^{\mathrm{T}}+\cdots +{\sigma }_k{u}_k{v}_k^{\mathrm{T}}$$

则 $A_k$ 的秩为 $k$, 并且 $A_k$ 是秩为 $k$ 的矩阵中在弗罗贝尼乌斯范数意义下 $A$ 的最优近 似矩阵。矩阵 $A_k$ 就是 $A$ 的截断奇异值分解。
由于通常奇异值 ${\sigma }_i$ 递减很快, 所以 $k$ 取很小值时, $A_k$ 也可以对 $A$ 有很好的近似。