奇异值分解与极分解

酉矩阵

$U^{H}U=U{U}^H=I$，则称$U$为酉矩阵
($H$表示共轭转置，先取共轭复数，再转置，或者先转置再取共轭复数）

其实相当于正交矩阵的复数版

命题1

设$A\in {\mathbb{C}}^{m\times n}$,则有
（1）
$A^{H}A$与$A{A}^H$的特征值均为非负实数
（2）
$A^H$与$A{A}^H$的非零特征值相同

证明：
（1）
设$0\ne x\in {\mathbb{C}}^n$为矩阵 $A^{H}A$的特征值$\lambda$所对应的 特征向量，
$(A^{H}A{)}^H=A^{H}A$,所以$A^{H}A$是埃尔米特矩阵
$$x^H{A}^{H}Ax=(Ax{)}^H(Ax)\ge 0$$
$A^{H}A$是半正定矩阵，所以$\lambda \ge 0$
（2）
设$A^{H}A$的特征值
$${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n=0$$
设$A{A}^H$的特征值
$${\mu }_1\ge {\mu }_2\ge \cdots \ge {\mu }_s>{\mu }_{s+1}=\cdots ={\mu }_m=0$$
设$0\ne x_i\in C^n(i=1,2,\cdots ,r)$为$A^{H}A$的非零特征值${\lambda }_i(i=1,2,\cdots ,r)$所对应的特征向量，则
$$A^{H}A{x}_i={\lambda }_i{x}_i(i=1,2,\cdots ,r)$$
有
$$(A{A}^H)(A{x}_i)={\lambda }_i(A{x}_i)(i=1,2,\cdots ,r)$$
且$A{x}_i\ne 0$,所以${\lambda }_i$也是$A{A}^H$的特征值，同理，$A{A}^H$的非零特征值也是$A^{H}A$的非零特征值

接下来证他们代数重复度相同

设$y_1,y_2,\cdots ,y_p$为$A^{H}A$对应于特征值$\lambda \ne 0$的线性无关的特征向量，由于$A^{H}A$为单纯矩阵（能相似对角化，或者几何重复度=代数重复度），故$p$为$\lambda$的代数重复度，显然$A{y}_i(i=1,2,\cdots ,r)$是$A{A}^H$的对应于$\lambda$的特征向量

设$k=(k_1,k_2,\cdots ,k_p{)}^T$
$$\begin{array}{rl}{k}_{1}A{y}_1+\cdots +k_{p}A{y}_p& =0\\ A(y_1,y_2,\cdots ,y_p)k& =0\\ A^{H}A(y_1,y_2,\cdots ,y_p)k& =0\\ \lambda (y_1,y_2,\cdots ,y_p)k& =0\\ (y_1,y_2,\cdots ,y_p)k& =0\\ k& =0\end{array}$$
故$A{y}_1,\cdots ,A{y}_p$线性无关，因而$\lambda$也是$A{A}^H$的$P$重非零特征值

奇异值

设$A\in {\mathbb{C}}_r^{m\times n}$(秩为$r$的$m\times n$阶复矩阵)，特征值为
$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n=0$$
则称${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2,\cdots ,r)$为矩阵$A$的正奇异值，简称奇异值

酉等价

设$A,B\in {\mathbb{C}}^{m\times n}$,如果存在$m$阶酉矩阵$U$和$n$阶酉矩阵$V$，使得
$$B=UAV$$
则称$A$与$B$酉等价或者酉相抵

定理1

若$A$与$B$酉等价，则$A$与$B$有相同的奇异值

证明：
因为$B=UAV$
$$B^{H}B=V^H{A}^H{U}^{H}UAV=V^H{A}^{H}AV$$
所以$A^{H}A$与$B^{H}B$酉相似（相似的复数版），所以他们有相同的特征值
于是$A$与$B$有相同的奇异值

奇异值分解

定义

设$A\in C_r^{m\times n}$,则存在$m$阶酉矩阵$U$和$n$阶酉矩阵$V$，使得
$$U^{H}AV=\left(\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right)$$
或者
$$A=U\left(\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right)V^H$$

其中$\Delta =diag({\sigma }_1,\cdots ,{\sigma }_r)$,${\lambda }_i$为$A{A}^H$的非零特征值，
且${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2,\cdots ,r)$,而${\sigma }_i$是$A$的全部奇异值

存在性

证明：
$A{A}^H$是半正定的，故存在酉矩阵$U$，使得
$$U^{H}A{A}^{H}U=\left(\begin{array}{cc}\Delta {\Delta }^H& 0\\ 0& 0\end{array}\right)=diag({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2,0,\cdots ,0)$$
记$U=(x_1,\cdots ,x_r,x_{r+1},\cdots ,x_m)=(U_1,U_2)$,
其中$U_1=(x_1,\cdots ,x_r),U_2=(x_{r+1},\cdots ,x_m)$
于是
$$U^{H}A{A}^{H}U=(U_1,U_2{)}^{H}A{A}^H(U_1,U_2)=diag({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2,0,\cdots ,0)$$
比较两边得
$$U_1^{H}A{A}^H{U}_1=diag({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2)={\Delta }^2=\Delta {\Delta }^H$$
$$U_2^{H}A{A}^H{U}_2=0$$
$$U_2^{H}A{A}^H{U}_2=0\Rightarrow (A^H{U}_2{)}^H(A^H{U}_2)=0\Rightarrow A^H{U}_2=0$$
令$V_1=A^H{U}_1({\Delta }^{-1}{)}^H$
$$\begin{array}{rl}{V}_1^H{V}_1& ={\Delta }^{-1}{U}_1^{H}A{A}^H{U}_1({\Delta }^{-1}{)}^H\\ & ={\Delta }^{-1}\Delta {\Delta }^H({\Delta }^{-1}{)}^H\\ & =I_r\end{array}$$
$V_1\in U^{n\times r}$(酉矩阵集合)
令$V_2\in U^{n\times (n-r)}$
$V=(V_1,V_2)$
则
$$\begin{array}{rl}{V}_1^H{V}_2& =0\\ {\Delta }^{-1}{U}_1^{H}A{V}_2& =0\\ U_1^{H}A{V}_2& =0\end{array}$$
故
$$\begin{array}{rl}{U}^{H}AV& =\left(\begin{array}{c}{U}_1^H\\ U_2^H\end{array}\right)A\left(\begin{array}{c}{V}_1,V_2\end{array}\right)\\ & =\left(\begin{array}{cc}{U}_1^{H}A{V}_1& U_1^{H}A{V}_2\\ U_2^{H}A{V}_1& U_2^{H}A{V}_2\end{array}\right)\\ & =\left(\begin{array}{cc}{U}_1^{H}A{A}^H{U}_1({\Delta }^{-1}{)}^H& 0\\ 0& 0\end{array}\right)\\ & =\left(\begin{array}{cc}\Delta {\Delta }^H({\Delta }^{-1}{)}^H& 0\\ 0& 0\end{array}\right)\\ & =\left(\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right)\end{array}$$
这种分解方式称为$A$的奇异值分解（SVD分解），实际上他表明了$A$与一个长方对角阵酉等价

求法

$$A=U\left(\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right)V^H=U\Sigma V^H$$
根据
$$\begin{gathered} A{A}^H=U{\Sigma }^2{U}^H \\ {A}^{H}A=V{\Sigma }^2{V}^H \end{gathered}$$
(1)求出$A{A}^H$或者$A^{H}A$的特征值
(2)找到$A{A}^H$特征值对应的标准正交的特征向量作为$U$
(3)$A^{H}A$的正特征值就是$A{A}^H$正的特征值，剩下的根据维度补0，然后求出对应的标准正交特征向量作为$V$

（也可以根据$V_1=A^H{U}_1({\Delta }^{-1}{)}^H$求正的特征值对应的特征向量，然后剩下的用正交求出来）

(4)奇异值就是$A{A}^H$正的特征向量开根号
(求特征值的时候，应该用$A{A}^H$和$A^{H}A$阶数小的来求)

例子

$$A=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& -1\end{array}\right)$$
解：
(1)
$A{A}^H$是2阶的
$A^{H}A$是3阶的
所以求$A{A}^H$的特征值

$$A{A}^H=\left(\begin{array}{cc}2& -1\\ -1& 2\end{array}\right)$$
特征值${\lambda }_1=1,{\lambda }_2=3$
(2)
求$A{A}^H$对应的特征向量
$${\beta }_1=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\end{array}\right),{\beta }_2=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ -1\end{array}\right)$$
(3)
$A^{H}A$正的特征值为$1,3$
因为是$3$阶的，所以另一个特征值是$0$
对应的特征向量是
$${\alpha }_1=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right),{\alpha }_2=\frac{1}{\sqrt{6}}\left(\begin{array}{c}1\\ -1\\ 2\end{array}\right),{\alpha }_1=\frac{1}{\sqrt{3}}\left(\begin{array}{c}1\\ -1\\ -1\end{array}\right)$$
(4)
奇异值就是$\sqrt{1},\sqrt{3}$

$$A=UD{V}^H=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& \sqrt{3}& 0\end{array}\right)\left(\begin{array}{ccc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{6}}& \frac{2}{\sqrt{6}}\\ \frac{1}{\sqrt{3}}& -\frac{1}{\sqrt{3}}& -\frac{1}{\sqrt{3}}\end{array}\right)$$

奇异值性质

$${\sigma }_{max}(A)\ge \left|\lambda \right|\ge {\sigma }_{min}$$
2.
$$tr(A^{H}A)=\sum _{i=1}^r{\sigma }_i^2$$
3.
$A$列满秩$\iff$奇异值均非零

极分解

奇异值分解$A=U_{1}D{V}^H$
令
$$P=U_{1}D{U}_1^H,U=U_1{V}^H$$

$A\in C^{n\times n}$,则存在酉矩阵$U$和唯一的半正定矩阵$P$使得
$$A=PU$$
这种分解称为极分解，矩阵$P$和$U$分别称为$A$的埃尔米特因子和酉因子