鲁棒控制数学基础与相关概念系列A(三)-矩阵的奇异值分解

鲁棒控制数学基础与相关概念(三)-矩阵的奇异值分解

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

埃尔米特矩阵

若矩阵$A$满足$A=A^H$,我们称这样的矩阵为埃尔米特矩阵。对于埃尔米特矩阵满足下面的定理:
定理1 ：任何$n$阶矩阵都有，存在一个酉矩阵$U$,使得$A=UT{U}^H$成立。式中T的主对角元是$A$的特征值。

半正定矩阵

定义1 ：设$A$为$n$阶埃尔米特矩阵，如果对任意$n$维非零复向量$x$都有$x^{H}Ax\ge 0$,则称$A$为半正定矩阵，记作$A\ge 0$。
定理1 ：矩阵$A$ 为半正定矩阵的充要条件是$A$的所有特征值都是非负数。

奇异值分解

命题1：设矩阵$A\in C^{m\times n}$,则有
1）$A^{H}A与A{A}^H$的特征值均为非负实数；
2）$A^{H}A与A{A}^H$的非零特征值相同；

证明:设$x\ne 0$为矩阵$A^{H}A$的特征值$\lambda$对应的特征向量。由于$A^{H}A$是埃尔米特矩阵，$x^H{A}^{H}Ax=(Ax{)}^H(Ax)\ge 0$,所以$A^{H}A$是半正定的，从而推出$\lambda \ge 0$。

定义2 ：设$A\in C_r^{m\times n},A^{H}A$的特征值为
${\lambda }_1\ge {\lambda }_2\ge {\lambda }_3\ge \cdots {\lambda }_r>{\lambda }_{r+1}={\lambda }_{r+2}=\cdots ={\lambda }_n=0$
则称${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2,\cdots ,r)$为矩阵$A$的正奇异值，简称奇异值。

定义3：设$A\in C_r^{m\times n}$,存在$m$阶酉矩阵$U$和$n$阶酉矩阵$V$,使得
$$A=U\left[\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right]V^H$$
其中$\Delta =diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r)$。

证明:由于$A{A}^H$总是半正定的且为埃尔米特矩阵，故存在酉矩阵$U$,使得 T = U H A A H U = d i a g { λ 1 . λ 2 , ⋯   , λ r , 0 , ⋯   , 0 } T=U^HAA^HU=diag\left\{\lambda_1.\lambda_2,\cdots,\lambda_r,0,\cdots,0\right\} T=UHAAHU=diag{λ1​.λ2​,⋯,λr​,0,⋯,0}。记$U=(x_1,x_2,\cdots ,x_r,x_{r+1},\cdots ,x_m)=(U_1,U_2)$代入上式得到:
( U 1 , U 2 ) H A A H ( U 1 , U 2 ) = d i a g { λ 1 . λ 2 , ⋯   , λ r , 0 , ⋯   , 0 } (U_1,U_2)^HAA^H(U_1,U_2)=diag\left\{\lambda_1.\lambda_2,\cdots,\lambda_r,0,\cdots,0\right\} (U1​,U2​)HAAH(U1​,U2​)=diag{λ1​.λ2​,⋯,λr​,0,⋯,0}
进而得到
U 1 H A A H U 1 = d i a g { λ 1 . λ 2 , ⋯   , λ r } = Δ 2 = Δ Δ H U 2 H A A H U 2 = 0 U_1^HAA^HU_1=diag\left\{\lambda_1.\lambda_2,\cdots,\lambda_r\right\}=\Delta^2=\Delta\Delta^H\\ U_2^HAA^HU_2=0 U1H​AAHU1​=diag{λ1​.λ2​,⋯,λr​}=Δ2=ΔΔHU2H​AAHU2​=0
所以得到$(A^H{U}_2{)}^H(A^H{U}_2)=0$,即$A^H{U}_2=0$或者$U_2^{H}A=0$。
令$V_1=A^H{U}_1({\Delta }^{-1}{)}^H$,则有$V_1^H{V}_1={\Delta }^{-1}\Delta {\Delta }^H({\Delta }^{-1}{)}^H=I_r$,即$V_1\in U^{n\times r}$酉矩阵。再令$V_2\in U^{n\times (n-r)}$,使$V=(V_1,V_2)\in U^{n\times n}$,则有$V_1^H{V}_2={\Delta }^{-1}{U}_1^{H}A{V}_2=0$,进而$U_1^{H}A{V}_2=0$。故有
$$U^{H}AV=\left[\begin{array}{cc}{U}_1^{H}A{A}^H{U}_1({\Delta }^{-1}{)}^H& 0\\ 0& 0\end{array}\right]=\left[\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right]$$