矩阵分析与应用+张贤达

奇异值与行列式的关系

设$A$是$n\times n$正方矩阵。由于酉矩阵的行列式之绝对值等于1，所以有
$$|det(A)|=|det\Sigma |={\sigma }_1{\sigma }_2\dots {\sigma }_n$$
若所有${\sigma }_i$都不等于零，则$|det(A)|\ne 0$这表明$A$是非奇异的。如果至少有一个${\sigma }_i(i>r)$等于零，便有$det(A)=0$，即$A$是奇异的。这就是之所以把全部${\sigma }_i$值统称为奇异值的原因。
对于一个$n\times n$矩阵$A$，下列不等式成立:
{ n σ 1 ≥ ∣ ∣ A ∣ ∣ F ≥ σ 1 σ 1 n ≥ σ 1 n − 1 σ n ≥ ∣ d e t ( A ) ∣ ≥ σ n n ∣ ∣ A ∣ ∣ F ≥ σ 1 > ∣ d e t ( A ) ∣ 1 / n ∣ d e t ( A ) ∣ 1 / n ≥ σ n ≥ ∣ d e t ( A ) ∣ / ∣ ∣ A ∣ ∣ F n − 1 ∣ ∣ A ∣ ∣ F n / d e t ( A ) ∣ ≥ σ 1 / σ n ≥ m a x { 1 , 1 n ∣ ∣ A ∣ ∣ F / ∣ d e t ( A ) ∣ 1 / n } \begin{cases} n\sigma_1 ≥ ||A||_F ≥ \sigma_1\\ \sigma_1^n≥\sigma_1^{n-1}\sigma_n≥|det(A)| ≥\sigma_n^n\\ ||A||_F ≥\sigma_1>|det(A)|^{1/n}\\ |det(A)|^{1/n}≥\sigma_n≥|det(A)|/||A||_F^{n-1}\\ ||A||_F^n/det(A)| ≥\sigma_1/\sigma_n ≥ max \{1,\frac{1}{n}||A||_F/|det(A)|^{1/n}\} \end{cases} ⎩ ⎨ ⎧​nσ1​≥∣∣A∣∣F​≥σ1​σ1n​≥σ1n−1​σn​≥∣det(A)∣≥σnn​∣∣A∣∣F​≥σ1​>∣det(A)∣1/n∣det(A)∣1/n≥σn​≥∣det(A)∣/∣∣A∣∣Fn−1​∣∣A∣∣Fn​/det(A)∣≥σ1​/σn​≥max{1,n1​∣∣A∣∣F​/∣det(A)∣1/n}​
这些不等式虽然是粗略的评价，但有时是有用的。

奇异值与条件数的关系

对于一个$m\times n$矩阵$A$，其条件数也可以利用奇异值定义为
c o n d ( A ) = σ 1 / σ p , p = m i n { m , n } cond(A)=\sigma_1/\sigma_p,p=min\{m,n\} cond(A)=σ1​/σp​,p=min{m,n}
由上式可以看出，条件数是一个大于或等于1的正数，因为${\sigma }_1\ge {\sigma }_p$ 。显然，由于至少有一个奇异值${\sigma }_p=0$，故奇异矩阵的条作数为无穷大，而条件数虽然不是无穷大，但却很大时，就称$A$是接近奇异的。这意味着，当条件数很大时，$A$的行向量或列向量的线性相关性很强。另知，正交或西矩阵$V$的条件数等于1。
从这个意义上讲，正交或酉矩阵是“理想条件”的。

考虑超定方程$Ax=b$。此时，由于$A^{H}A$的奇异值分解为
$$A^{H}A=V{\Sigma }^2{V}^H$$
即矩阵$A^{H}A$的最大和最小奇异值分别是矩阵$A$的最大和最小奇异值的平方，故
$$cond(A^{H}A)=\frac{{\sigma }_1^2}{{\sigma }_n^2}=[cond(A){]}^2$$
换言之，矩阵$A^{H}A$的条件数是矩阵$A$的条件数的平方倍。

奇异值与特征值的关系

设$n\times n$正方对称矩阵$A$的特征值为${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n(|{\lambda }_1|\ge |{\lambda }_2|\ge \dots \ge {\lambda }_n)$，奇异值为${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_n({\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_n\ge 0)$，则${\sigma }_1\ge |{\lambda }_i|\ge {\sigma }_n(i=1,2,\dots ,n),cond(A)\ge |{\lambda }_1|/|{\lambda }_n|$。

奇异值的性质汇总

1.奇异值服从的等式关系

(1)$A_{m\times n}$和其复共轭转置矩阵$A^H$具有相同的奇异值。
(2)矩阵$A_{m\times n}$的非零奇异值是$A{A}^H$或者$A^{H}A$的非零特征值的正平方根。
(3)$\sigma >0$是矩阵$A_{m\times n}$的单奇异值，当且仅当${\sigma }_2$是$A{A}^H$或$A^{H}A$的单特征值。
(4)若 p = m i n { m , n } p=min\{m,n\} p=min{m,n}，且${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_p$是矩阵$A_{m\times n}$的奇异值，则
$$tr(A^{H}A)=\sum _{i=1}^p{\sigma }_i^2$$
(5)矩阵行列式的绝对值等于矩阵奇异值之乘积，即$|det(A)|={\sigma }_1,{\sigma }_2,\dots ,{\sigma }_n$
(6)矩阵$A$的谱范数等于$A$的最大奇异值，即$||A|{|}_{spec}={\sigma }_{max}$
(7)若$m\ge n$，则对于矩阵$A_{m\times n}$，有
$${\sigma }_{min}(A)=min\{(\frac{x^H{A}^{H}Ax}{x^{H}x}{)}^{1/2}:x\ne 0\}$$
$$=min\{(x^H{A}^{H}Ax{)}^{1/2}:x^{H}x=1,x\in C^n\}$$
(8)若$m\ge n$，则对于矩阵$A_{m\times n}$，有
$${\sigma }_{max}(A)=max\{(\frac{x^H{A}^{H}Ax}{x^{H}x}{)}^{1/2}:x\ne 0\}$$
$$=max\{(x^H{A}^{H}Ax{)}^{1/2}:x^{H}x=1,x\in C^n\}$$
(9)若$m\times m$矩阵$A$非奇异，则
$$\frac{1}{{\sigma }_{min}(A)}=max\{(\frac{x^H(A^{-1}{)}^H{A}^{-1}x}{x^{H}x}{)}^{1/2}:x\ne 0,x\in C^n\}$$
(10)若$A=U\left[\begin{array}{cc}{\Sigma }_1& O\\ O& O\end{array}\right]V^H$是$m\times n$矩阵$A$的奇异值分解，则$A$的Moore-Penrose
逆矩阵
$$A^{+}=V\left[\begin{array}{cc}{\Sigma }_1^{-1}& O\\ O& O\end{array}\right]U^H$$
(11)若${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_p$是$m\times n$矩阵$A$的非零奇异值(其中， p = m i n { m , n } p=min\{m,n\} p=min{m,n})，则矩阵$\left[\begin{array}{cc}O& A\\ A^H& O\end{array}\right]$具有$2p$个非零奇异值${\sigma }_1,\dots ,{\sigma }_p,-{\sigma }_1,...,-{\sigma }_p$和$|m-n|$个零奇异值。

2.奇异值服从的不等式关系

(1)若$A$和$B$是$m\times n$矩阵，则对于 1 ≤ i , j ≤ p , i + j ≤ p + 1 ( p = m i n { m , n } ) 1≤i,j≤p,i+j≤p+1(p=min\{m,n\}) 1≤i,j≤p,i+j≤p+1(p=min{m,n})，有
$${\sigma }_{i+j-1}(A+B)\le {\sigma }_i(A)+{\sigma }_j(B)$$
特别地，当$j=1$时，${\sigma }_i(A+B)\le {\sigma }_i(A)+{\sigma }_1(B),i=1,2,\dots ,p$成立。
(2)对矩阵$A_{m\times n},B_{m\times }n$，有
$${\sigma }_{max}(A+B)\le {\sigma }_{max}(A)+{\sigma }_{max}(B)$$
(3)若$A$和$B$是$m\times n$矩阵，则
∑ j = 1 p [ σ j ( A + B ) − σ j ( A ) ] 2 ≤ ∣ ∣ B ∣ ∣ F 2 , p = m i n { m , n } \sum_{j=1}^p[\sigma_j(A+B)-\sigma_j(A)]^2 ≤ ||B||_F^2,p=min\{m,n\} j=1∑p​[σj​(A+B)−σj​(A)]2≤∣∣B∣∣F2​,p=min{m,n}
(4)若$A_{m\times m}=[a_1,a_2,\dots ,a_m]$的奇异值${\sigma }_1(A)\ge {\sigma }_2(A)\ge \dots \ge {\sigma }_m(A)$，则
$$\sum _{j=1}^k[{\sigma }_{m-k+j}(A{)}^2\le \sum _{j=1}^k{a}_j^H{a}_j\le \sum _{j=1}^k[{\sigma }_j(A){]}^2,k=1,2,...,m$$
(5)设$m\times (n-1)$矩阵$B$是删去$m\times n$矩阵$A$任意一列得到的矩阵，并且它们的奇异值都按照非降顺序排列，则
$${\sigma }_1(A)\ge {\sigma }_1(B)\ge {\sigma }_2(A)\ge {\sigma }_2(B)\ge \dots \ge {\sigma }_h(A)\ge {\sigma }_h(B)\ge 0$$
式中， h = m i n { m , n − 1 } h=min\{m,n-1\} h=min{m,n−1}。
(6)设$(m-1)\times n$矩阵$B$是删去$m\times n$矩阵$A$任意一行得到的矩阵，并且它们的奇异值都按照非降顺序排列，则
$${\sigma }_1(A)\ge {\sigma }_1(B)\ge {\sigma }_2(A)\ge {\sigma }_2(B)\ge \dots \ge {\sigma }_h(A)\ge {\sigma }_h(B)\ge 0$$
式中， h = m i n { m , n − 1 } h=min\{m,n-1\} h=min{m,n−1}。
(7)矩阵$A_{m\times n}$的最大奇异值满足不等式
$${\sigma }_{max}(A)\ge [\frac{1}{n}tr(A^{H}A){]}^{1/2}$$