矩阵分析与应用(20)

最新推荐文章于 2024-04-28 17:15:58 发布

Butterfffly

最新推荐文章于 2024-04-28 17:15:58 发布

阅读量2.7k

点赞数 1

分类专栏：矩阵分析与应用文章标签：矩阵

本文链接：https://blog.csdn.net/qq_40206924/article/details/126182157

版权

矩阵分析与应用专栏收录该内容

22 篇文章 6 订阅

订阅专栏

学习来源：《矩阵分析与应用》张贤达清华大学出版社

奇异值分解

一、矩阵奇异值与矩阵的关系

矩阵的奇异值与矩阵的范数、行列式、条件数、特征值等有密切关系。

1. 奇异值与范数的关系

矩阵 $A$ 的谱范数等于 $A$ 的最大奇异值，即

$\left \| A \right \|_{spec}=\sigma_1$

根据矩阵的奇异值分解定理，由于矩阵 $A$ 的 Frobenius 范数 $\left \| A \right \|_F$ 是酉不变的，即

$\left \| U^HAV \right \|_F=\left \| A \right \|_F$

因此，有

$\left \| A \right \|_F=\left [ \sum_{i=1}^{m}\sum_{j=1}^{n}\left | a_{ij} \right |^2 \right ]^{\frac{1}{2}}$

$=\left \| U^HAV \right \|_F-\left \| \Sigma \right \|_F$

$=\sqrt{\sigma_1^2+\sigma_2^2+\cdots +\sigma_r^2}$

也就是说，任何一个矩阵的 Frobenius 范数等于该矩阵所有非零奇异值平方和的正平方根。

2. 奇异值与行列式的关系

设 $A$ 是 $n\times n$ 正方矩阵。由于酉矩阵的行列式的绝对值为 1 ，所以有

$\left | det(A) \right |=\left | det\Sigma \right |=\sigma_1\sigma_2\cdots \sigma_n$

当所有的 $\sigma_i$ 都不为零，则 $A$ 是非奇异的；当存在 $\sigma_i$ 为零时，则 $A$ 是奇异的。

对于一个 $n\times n$ 矩阵 $A$ ，以下不等式均成立：

$\left\{\begin{matrix} n\sigma_1\geqslant \left \| A \right \|_F \geqslant \sigma_1\\ \sigma_1^n\geqslant \sigma_1^{n-1}\sigma_n\geqslant \left | det(A) \right |\geqslant \sigma_n^n\\ \left \| A \right \|_F\geqslant \sigma_1\geqslant \left | det(A) \right |^{\frac{1}{n}}\\ \left | det(A) \right |^{\frac{1}{n}}\geqslant \sigma_n\geqslant \frac{\left | det(A) \right |}{\left \| A \right \|_F^{n-1}}\\ \frac{\left \| A \right \|_F^n}{\left | det(A) \right |}\geqslant \frac{\sigma_1}{\sigma_n}\geqslant max\left \{ 1,\frac{1}{n}\frac{\left \| A \right \|_F}{\left | det(A) \right |^{\frac{1}{n}}} \right \} \end{matrix}\right.$

3. 奇异值与条件数的关系

对于一个 $m\times n$ 矩阵 $A$ ，其条件数可以利用奇异值定义为

$cond(A)=\frac{\sigma_1}{\sigma_p},\qquad p=min\left \{ m,n \right \}]$

因为 $\sigma_1 \geqslant \sigma_p$ ，所以条件数是一个大于或等于 1 的正数。对于一个奇异矩阵来说，由于至少有一个奇异值 $\sigma_p=0$ ，因此奇异矩阵的条件数为无穷大；当一个矩阵 $A$ 的条件数不是无穷大但很大时，称矩阵 $A$ 是接近奇异的。它的意思是，当矩阵 $A$ 的条件数很大时，矩阵 $A$ 的行向量或列向量的线性相关性很强。

对于方程 $Ax=b$ ， $A^HA$ 的奇异值分解为

$A^HA=V\Sigma^2V^H$

即矩阵 $A^HA$ 的最大和最小奇异值分别是矩阵 $A$ 的最大和最小奇异值的平方，所以

$cond(A^HA)=\frac{\sigma_1^2}{\sigma_n^2}=\left [ cond(A) \right ]^2$

也就是说，矩阵 $A^HA$ 的条件数是矩阵 $A$ 的条件数的平方。

4. 奇异值与特征值的关系

设 $n\times n$ 正方对称矩阵 $A$ 的特征值为 $\lambda_1,\lambda_2,\cdots ,\lambda_n(\left | \lambda_1 \right | \geqslant \left | \lambda_2 \right | \geqslant \cdots \geqslant \left | \lambda_n \right |)$ ，奇异值为 $\sigma_1,\sigma_2,\cdots ,\sigma_n(\sigma_1\geqslant \sigma_2\geqslant \cdots \geqslant \sigma_n\geqslant 0)$ ，则

$\sigma_1\geqslant \left | \lambda_i \right |\geqslant \sigma_n(i=1,2,\cdots ,n),\quad cond(A)\geqslant \frac{\left | \lambda_1 \right |}{\left | \lambda_n \right |}$

二、奇异值的性质汇总

1. 奇异值服从的等式关系

1）矩阵 $A_{m\times n}$ 和其复共轭转置矩阵 $A^H$ 具有相同的奇异值。

2）矩阵 $A_{m\times n}$ 的非零奇异值是 $AA^H$ 或 $A^HA$ 的非零特征值的正平方根。

3） $\sigma> 0$ 是矩阵矩阵 $A_{m\times n}$ 的单奇异值，当且仅当 $\sigma^2$ 是 $AA^H$ 或 $A^HA$ 的单特征值。

4）若 $p=min\left \{ m,n \right \}$ ，且 $\sigma_1,\sigma_2,\cdots ,\sigma_p$ 是矩阵 $A_{m\times n}$ 的奇异值，则

$tr(A^HA)=\sum_{i=1}^{p}\sigma_i^2$

5）矩阵行列式的绝对值等于矩阵奇异值的乘积，即

$\left | det(A) \right |=\sigma_1\sigma_2\cdots \sigma_n$

6）矩阵 $A$ 的谱范数等于 $A$ 的最大奇异值，即 $\left \| A \right \|_{spec}=\sigma_{max}$ 。

7）若 $m\geqslant n$ ，则对于矩阵 $A_{m\times n}$ ，有

$\sigma_{min}(A)=min\left \{ \left $\frac{x^HA^HAx}{x^Hx}\right $^{\frac{1}{2}}:x\neq 0 \right \}$

$=min\left \{ \left $x^HA^HAx \right $^{\frac{1}{2}} :x^Hx=1,x\in C^n\right \}$

8）若 $m\geqslant n$ ，则对于矩阵 $A_{m\times n}$ ，有

$\sigma_{max}(A)=max\left \{ \left $\frac{x^HA^HAx}{x^Hx}\right $^{\frac{1}{2}}:x\neq 0 \right \}$

$=max\left \{ \left $x^HA^HAx \right $^{\frac{1}{2}} :x^Hx=1,x\in C^n\right \}$

9）若 $m\times m$ 矩阵 $A$ 非奇异，则

$\frac{1}{\sigma_{min}(A)}=max\left \{ \left ( \frac{x^H(A^{-1})^HA^{-1}x}{x^Hx} \right )^{\frac{1}{2}}:x\neq 0,x\in C^n \right \}$

10）若 $A=U\begin{bmatrix} \Sigma_1 &O \\ O& O \end{bmatrix}V^H$ 是 $m\times n$ 矩阵 $A$ 的奇异值分解，则 $A$ 的 Moose-Penrose 逆矩阵

$A^\dagger=V\begin{bmatrix} \Sigma_1^{-1} &O \\ O& O \end{bmatrix}U^H$

11）若 $\sigma_1,\sigma_2,\cdots ,\sigma_p$ 是 $m\times n$ 矩阵 $A$ 的非零奇异值（其中， $p=min\left \{ m,n \right \}$ ），则矩阵 $\begin{bmatrix} O & A\\ A^H& O \end{bmatrix}$ 具有 $2p$ 个非零奇异值 $\sigma_1,\cdots ,\sigma_p,-\sigma_1,\cdots ,-\sigma_p$ 和 $\left | m-n \right |$ 个零奇异值。

2. 奇异值服从的不等式关系

1）若 $A$ 和 $B$ 是 $m\times n$ 矩阵，则对于 $1\leqslant i,j\leqslant p,i+j\leqslant p+1(p=min\left \{ m,n \right \})$ ，有

$\sigma_{i+j-1}(A+B)\leqslant \sigma_i(A)+\sigma_j(B)$

特别地，当 $j=1$ 时， $\sigma_i(A+B)\leqslant \sigma_i(A)+\sigma_i(B),i=1,2,\cdots ,p$ 成立。

2）对矩阵 $A_{m\times n},B_{m\times n}$ ，有

$\sigma_{max}(A+B)\leqslant \sigma_{max}(A)+\sigma_{max}(B)$

3）若 $A$ 和 $B$ 是 $m\times n$ 矩阵，则

$\sum_{j=1}^{p}\left [ \sigma_j(A+B)-\sigma_j(A) \right ]^2 \leqslant \sigma_{max}(A)+\sigma_{max}(B)$

4）若 $A_{m\times n}=[a_1,a_2,\cdots ,a_m]$ 的奇异值 $\sigma_1(A)\geqslant \sigma_2(A)\geqslant \cdots \geqslant \sigma_m(A)$ ，则

$\sum_{j=1}^{k}[\sigma_{m-k+j}(A)]^2\leqslant \sum_{j=1}^{k}a_j^Ha_j\leqslant \sum_{j=1}^{k}[\sigma_j(A)]^2,\quad k=1,2,\cdots ,m$

5）若 $p=min\left \{ m,n \right \}$ ，且 $A_{m\times n}$ 和 $B_{m\times n}$ 的奇异值排列为 $\sigma_1(A)\geqslant \sigma_2(A)\geqslant \cdots \geqslant \sigma_p(A)$ ， $\sigma_1(B)\geqslant \sigma_2(B)\geqslant \cdots \geqslant \sigma_p(B)$ 和 $\sigma_1(A+B)\geqslant \sigma_2(A+B)\geqslant \cdots \geqslant \sigma_p(A+B)$ ，则