矩阵分析与应用-6.2-奇异值分解-Section1

前言

本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.

一、奇异值分解及其解释

1. 奇异值分解定义

对于任意复长方矩阵都可以进行奇异值分解.

定理 1 (矩阵的奇异值分解) : 令 $A\in R^{m\times n}$ ( 或 $C^{m\times n}$ ), 则存在正交 (或酉) 矩阵 $U\in R^{m\times m}$ 和 $V\in R^{n\times n}$ ( 或 $C^{n\times n}$ ) 使得

$$A=U\Sigma V^{\mathrm{T}}(或U\Sigma V^{\mathrm{H}})\text{\hspace{1em}(1)}$$

式子中

$$\Sigma =\left[\begin{array}{cc}{\Sigma }_1& O\\ O& O\end{array}\right]\text{\hspace{1em}(2)}$$

且 ${\Sigma }_1=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r)$, 其对角元素按照顺序

$${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0,r=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)\text{\hspace{1em}(3)}$$

排列, 这些值自然也被称作奇异值.

定义 1 : 矩阵 $A_{m\times n}$ 的奇异值 ${\sigma }_i$ 称为单奇异值, 若 ${\sigma }_i\ne {\sigma }_j,\forall j\ne i$

2. 奇异值和奇异值分解解释及其标记

• $n\times n$ 矩阵 $V$ 为酉矩阵, 用 $V$ 右乘式 $A=U\Sigma V^{\mathrm{T}}$ 得到 $AV=U\Sigma$, 其列向量形式为

  $$A{v}_i=\{\begin{array}{cc}{\sigma }_i{u}_i& i=1,2,\cdots ,r\\ 0& i=r+1,r+2,\cdots ,n\end{array}\text{\hspace{1em}(4)}$$

  因此, $V$ 的列向量 $v_i$ 称为矩阵 $A$ 的右奇异向量, $V$ 称为 $A$ 的右奇异向量矩阵.

• $m\times m$ 矩阵 $U^{\mathrm{H}}$ 为酉矩阵, 用 $U^{\mathrm{H}}$ 左乘式 $A=U\Sigma V^{\mathrm{T}}$ 得到 $U^{\mathrm{H}}A=\Sigma V$, 其列向量形式为

  $$u_i^{\mathrm{H}}A=\{\begin{array}{cc}{\sigma }_i{v}_i^{\mathrm{T}}& i=1,2,\cdots ,r\\ 0& i=r+1,r+2,\cdots ,n\end{array}\text{\hspace{1em}(5)}$$

  因此, $U$ 的列向量 $u_i$ 称为矩阵 $A$ 的左奇异向量, $U$ 称为 $A$ 的左奇异向量矩阵.

• 矩阵 $A$ 的奇异值分解式子也可以改成向量形式

  $$A=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^{\mathrm{H}}\text{\hspace{1em}(6)}$$

  这种叫 $A$ 的并向量 (奇异值) 分解

• 观察到奇异值分解式子, 有

  $$A{A}^{\mathrm{H}}=U{\Sigma }^2{U}^{\mathrm{H}}\text{\hspace{1em}(7)}$$

  表明, $m\times n$ 矩阵 $A$ 的奇异值 ${\sigma }_i$ 是矩阵乘积 $A{A}^{\mathrm{H}}$ 的特征值的正平方根.

• 当矩阵 $A$ 的秩 r = r a n k ( A ) < min ⁡ { m , n } r = \mathrm{rank}(A) < \min\{m,n\} r=rank(A)<min{m,n} 时, 由于奇异值 σ r + 1 = σ r + 2 = ⋯ = σ h = 0 , h = min ⁡ { m , n } \sigma_{r+1} = \sigma_{r+2} = \cdots =\sigma_h = 0, h = \min\{m,n\} σr+1​=σr+2​=⋯=σh​=0,h=min{m,n}, 奇异值分解公式可以简化为

  $$A=U_r{\Sigma }_r{V}_r^{\mathrm{H}}\text{\hspace{1em}(8)}$$

  式子中

  $$U_r=[u_1,u_2,\cdots ,u_r],V_r=[v_1,v_2,\cdots ,v_r],{\Sigma }_r=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}[{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r]$$

  式子 (7) 称为矩阵 $A$ 的截尾奇异值分解或薄奇异值分解. 那么之前那个就叫做全奇异值分解.

• 如果矩阵 $A_{m\times n}$ 具有秩 $r$, 则

  • $m\times m$ 酉矩阵 $U$ 的前 $r$ 列组成矩阵 $A$ 的列空间的标准正交基

  • $n\times n$ 酉矩阵 $V$ 的前 $r$ 列组成矩阵 $A$ 的行空间 (或 $A^{\mathrm{H}}$ 的列空间) 的标准正交基

  • $V$ 的后 $n-r$ 列组成矩阵 $A$ 的零空间的标准正交基

  • $U$ 的后 $m-r$ 列组成矩阵 $A^{\mathrm{H}}$ 的零空间的标准正交基

3. 矩阵的秩亏缺

定理 2 : 令 $A\in C^{m\times n}(m>n)$ 的奇异值为

$${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r\ge 0$$

则

σ k = min ⁡ E ∈ C m × n { ∥ E ∥ F : r a n k ( A + E ) ≤ k − 1 } , k = 1 , 2 , ⋯   , n (9) \sigma_k = \min_{E \in C^{m \times n}} \{ \lVert E \rVert_{\mathrm{F}} : {\mathrm{rank}}(A+E) \le k -1\}, \quad k=1,2,\cdots,n \tag{9} σk​=E∈Cm×nmin​{∥E∥F​:rank(A+E)≤k−1},k=1,2,⋯,n(9)

并且存在一满足 $\Vert E{\Vert }_{\mathrm{F}}={\sigma }_k$ 的误差矩阵 $E$ 使得

$$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A+E_k)=k-1,k=1,2,\cdots ,n$$

矩阵的奇异值如果为零, 说明这个矩阵一定不是行满秩或者列满秩. 这就叫矩阵的秩亏缺.

对于方阵用行列式就可以很直观看出来, 对于非方阵就需要考虑线性变换.

二、奇异值的性质

1. 矩阵变形与奇异值变化

令矩阵 $A$ 和矩阵 $B$ 均为 $m\times n$ 矩阵, 并且 r A = r a n k ( A ) , p = min ⁡ { m , n } r_A = \mathrm{rank}(A), p = \min\{m,n\} rA​=rank(A),p=min{m,n}

设矩阵 $A$ 的奇异值排列为

$${\sigma }_{\mathrm{m}\mathrm{a}\mathrm{x}}={\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_{p-1}\ge {\sigma }_p={\sigma }_{\mathrm{m}\mathrm{i}\mathrm{n}}\ge 0\text{\hspace{1em}(10)}$$

并且用 ${\sigma }_i(B)$ 表示矩阵 $B$ 的第 $i$ 个奇异值.

矩阵的各种变形与奇异值的变化有以下关系.

• $m\times n$ 矩阵 $A$ 的共轭转置 $A^{\mathrm{H}}$ 的奇异值分解为

  $$A^{\mathrm{H}}=V{\Sigma }^{\mathrm{T}}{U}^{\mathrm{H}}\text{\hspace{1em}(11)}$$

  即 $A$ 和 $A^{\mathrm{H}}$ 有完全相同的奇异值.

• $P$ 和 $Q$ 分别为 $m\times m$ 和 $n\times n$ 酉矩阵时, $PA{Q}^{\mathrm{H}}$ 的奇异值分解由

  $$PA{Q}^{\mathrm{H}}=\bar{U}\Sigma {\bar{V}}^{\mathrm{H}}\text{\hspace{1em}(12)}$$

  给出, 其中, $\bar{U}=PU,\bar{V}=QV$. 就是说, 矩阵 $PA{Q}^{\mathrm{H}}$ 与 $A$ 具有相同的奇异值, 即奇异值具有酉不变性, 但奇异向量不同. 这个性质和特征值、特征向量之间的关系非常相似.

• $A^{\mathrm{H}}A,AA\mathrm{H}$ 的奇异值分解分别为

  $$A{A}^{\mathrm{H}}=V{\Sigma }^{\mathrm{T}}\Sigma V^{\mathrm{H}},A{A}^{\mathrm{H}}=U\Sigma {\Sigma }^{\mathrm{T}}{U}^{\mathrm{H}}\text{\hspace{1em}(13)}$$

  其中

  $${\Sigma }^{\mathrm{T}}\Sigma =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2,\stackrel{n-r个}{\overbrace{0,\cdots ,0}})\text{\hspace{1em}(14)}$$

  $$\Sigma {\Sigma }^{\mathrm{T}}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2,\stackrel{m-r个}{\overbrace{0,\cdots ,0}})\text{\hspace{1em}(15)}$$

• $m\times n$ 矩阵 $A$ 的奇异值分解与 $n\times m$ 维 $\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}-\mathrm{P}\mathrm{e}\mathrm{n}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{e}$ 广义逆矩阵 $A^{†}$ 之间存在下列关系

  $$A^{†}=V{\Sigma }^{†}{U}^{\mathrm{H}}\text{\hspace{1em}(16)}$$

  其中 ${\Sigma }^{†}=\left[\begin{array}{cc}{\Sigma }^{-1}& O\\ O& O\end{array}\right]$

2. 奇异值和矩阵性质之间的关系

定理 3 : 令 $A$ 是一个 $m\times n$ 矩阵, 其奇异值 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r$, 其中, r = min ⁡ { m , n } r = \min\{m,n\} r=min{m,n}. 若 $p\times q$ 矩阵 $B$ 是 $A$ 的子矩阵, 其奇异值 γ 1 ≥ γ 2 ≥ ⋯ ≥ γ min ⁡ { p , q } \gamma_1 \ge \gamma_2 \ge \cdots \ge \gamma_{\min\{p,q\}} γ1​≥γ2​≥⋯≥γmin{p,q}​ 则

σ i ≥ γ i , i = 1 , 2 , ⋯   , min ⁡ { p , q } (17) \sigma_i \ge \gamma_i , \quad i=1,2,\cdots,\min\{p,q\} \tag{17} σi​≥γi​,i=1,2,⋯,min{p,q}(17)

并且

γ i ≥ σ i + ( m − p ) + ( n − 1 ) , i ≤ min ⁡ { p + 1 − m , p + 1 − n } (18) \gamma_i \ge \sigma_{i+(m-p)+(n-1)}, \quad i \le \min\{p+1-m,p+1-n\} \tag{18} γi​≥σi+(m−p)+(n−1)​,i≤min{p+1−m,p+1−n}(18)

1. 奇异值与范数的关系

   矩阵 $A$ 的谱范数等于 $A$ 的最大奇异值, 即

   $$\Vert A{\Vert }_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}={\sigma }_1\text{\hspace{1em}(19)}$$

   又有 $\Vert U^{\mathrm{H}}AV{\Vert }_{\mathrm{F}}=\Vert A{\Vert }_{\mathrm{F}}$, 故有

   $$\Vert A{\Vert }_{\mathrm{F}}={\left[\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right]}^{1/2}\text{\hspace{1em}(20)}$$

   $$\Vert A{\Vert }_{\mathrm{F}}=\sqrt{{\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_r^2}\text{\hspace{1em}(21)}$$

   考虑矩阵 $A$ 的秩 $k$ 近似, 并将其记作 $A_k$, 其中, $k<r=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)$. 矩阵 $A_k$ 定义如下:

   $$A_k=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^{\mathrm{H}},k<r$$

   则 $A$ 与秩为 $k$ 的任一矩阵 $B$ 之差的 $l_1$ 和 $\mathrm{F}\mathrm{r}\mathrm{o}\mathrm{b}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{u}\mathrm{s}$ 范数分别为

   $$\underset{\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(B)=k}{\min }\Vert A-B{\Vert }_1=\Vert A-A_k{\Vert }_1={\sigma }_{k+1}\text{\hspace{1em}(22)}$$

   和

   $$\underset{\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(B)=k}{\min }\Vert A-B{\Vert }_{\mathrm{F}}^2=\Vert A-A_k{\Vert }_{\mathrm{F}}^2={\sigma }_{k+1}^2+{\sigma }_{k+2}^2+\cdots +{\sigma }_r^2\text{\hspace{1em}(23)}$$

2. 奇异值与行列式的关系

   $$|\mathrm{d}\mathrm{e}\mathrm{t}(A)|=|\mathrm{d}\mathrm{e}\mathrm{t}\Sigma |={\sigma }_1{\sigma }_2\cdots {\sigma }_n\text{\hspace{1em}(24)}$$

   还有一些不等式关系, 对于一个 $n\times n$ 矩阵 $A$

   n σ 1 ≥ ∥ A ∥ F ≥ σ 1 σ 1 n ≥ σ 1 n − 1 σ n ≥ ∣ d e t ( A ) ∣ ≥ σ n n ∥ A ∥ F ≥ σ 1 ≥ ∣ d e t ( A ) ∣ 1 / n ∣ d e t ( A ) ∣ 1 / n ≥ σ n ≥ ∣ d e t ( A ) ∣ / ∥ A ∥ F n − 1 ∥ A ∥ F n / ∣ d e t ( A ) ∣ ≥ σ 1 / σ 2 ≥ max ⁡ { 1 , 1 n ∥ A ∥ F / ∣ d e t ( A ) ∣ 1 / n } } (25) \left.\begin{matrix} n\sigma_1 \ge \lVert A \rVert_{\mathrm{F}} \ge \sigma_1 \\ \sigma_1^n \ge \sigma_1^{n-1}\sigma_n \ge |\mathrm{det}(A)| \ge \sigma_n^n\\ \lVert A \rVert_{\mathrm{F}} \ge \sigma_1 \ge |\mathrm{det}(A)|^{1/n} \\ |\mathrm{det}(A)|^{1/n} \ge \sigma_n \ge |\mathrm{det}(A)| / \lVert A \rVert_{\mathrm{F}}^{n-1}\\ \lVert A \rVert_{\mathrm{F}}^n / |\mathrm{det}(A)| \ge \sigma_1 / \sigma_2 \ge \max \{1, \frac{1}{n} \lVert A \rVert_{\mathrm{F}}/ |\mathrm{det}(A)|^{1/n}\} \end{matrix}\right\} \tag{25} nσ1​≥∥A∥F​≥σ1​σ1n​≥σ1n−1​σn​≥∣det(A)∣≥σnn​∥A∥F​≥σ1​≥∣det(A)∣1/n∣det(A)∣1/n≥σn​≥∣det(A)∣/∥A∥Fn−1​∥A∥Fn​/∣det(A)∣≥σ1​/σ2​≥max{1,n1​∥A∥F​/∣det(A)∣1/n}​⎭⎪⎪⎪⎪⎬⎪⎪⎪⎪⎫​(25)

3. 奇异值与条件数的关系

   对于一个 $m\times n$ 矩阵 $A$, 其条件数也可以利用奇异值定义为

   c o n d ( A ) = σ 1 / σ p , p = min ⁡ { m , n } (26) \mathrm{cond}(A) = \sigma_1/\sigma_p, \quad p = \min\{m,n\} \tag{26} cond(A)=σ1​/σp​,p=min{m,n}(26)

   条件数在之前也没有接触过, 就写到这里作罢.

4. 奇异值与特征值的关系

   设 $n\times n$ 对称方阵 $A$ 的特征值为 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n(|{\lambda }_1|\ge |{\lambda }_2|\ge \cdots \ge |{\lambda }_n|)$, 奇异值为 ${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n({\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_n\ge 0)$, 则 ${\sigma }_1\ge |{\lambda }_i|\ge {\sigma }_n(i=1,2,\cdots ,n),\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}(A)\ge |{\lambda }_1|/|{\lambda }_n|$