C4 矩阵分解

0. 顺序主子式

1. 三角分解(为方便Guass消去法-化上阶梯矩阵的过程)

1.1 LU分解

• 目的: 将$\mathbf{n}$ 阶矩阵$A$分解为一个下三角矩阵L和一个上三角矩阵U的乘积
• 形式：$A=LU$
• 推论：设 $\mathbf{A}$ 是 $\mathbf{n}$ 阶非奇异矩阵, $\mathbf{A}$ 有三角分解 $\mathbf{A}=\mathbf{L}\mathbf{U}$,
  的充要条件是 $\mathrm{A}$ 的顺序主子式 ${\Delta }_k\ne 0k=1,2,\cdots ,n$

1.2 LDU分解

• 目的: 将$\mathbf{n}$ 阶矩阵$A$分解为一个单位下三角矩阵L、对角矩阵D和一个单位上三角矩阵U的乘积
• 形式：$A=LDU$
• 定理：
  p：矩阵 $A={\left(a_{ij}\right)}_{n\times n}$ 的分解式唯一 $\iff$ q：A的顺序主子式${\Delta }_k\ne 0$
  且这个唯一的分解式$A=LDU$中，$D=\mathrm{diag}\left(d_1,d_2,\cdots ,d_n\right),d_k=\frac{{\Delta }_k}{{\Delta }_{k-1}},k=1,2,\cdots ,n\left({\Delta }_0=1\right)$

1.3 LDU分解步骤

• 目的：$\mathbf{A}=\mathbf{L}\mathbf{D}\mathbf{U}=\tilde{\mathbf{L}}\mathbf{U}$，求其中的L和U，$\mathbf{L}=\tilde{\mathbf{L}}=\left[\begin{array}{cccc}{l}_{11}& & & \\ l_{21}& l_{22}& & \\ ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& \cdots & l_{nn}\end{array}\right],\mathbf{U}=\left[\begin{array}{cccc}1& u_{12}& \cdots & u_{1n}\\ & 1& \cdots & u_{2n}\\ & & \ddots & ⋮\\ & & & 1\end{array}\right]$，使得$\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]=\left[\begin{array}{cccc}{l}_{11}& & & \\ l_{21}& l_{22}& & \\ ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& \cdots & l_{nn}\end{array}\right]\left[\begin{array}{cccc}1& u_{12}& \cdots & u_{1n}\\ & 1& \cdots & u_{2n}\\ & & \ddots & ⋮\\ & & & 1\end{array}\right]$

• 步骤：
  

• 例题：
  

2. QR分解

• 目的：将矩阵分解为正交矩阵与上三角矩阵之积
• 定理：$A_{n\times n}$ 可逆 $\Rightarrow \exists$ 正交矩阵 $\mathbf{Q}$, 可逆上三角矩阵 $\mathbf{R}$, 使得 $\mathbf{A}=\mathbf{Q}\mathbf{R}$ 。

2.0 施密特正交化法进行QR分解

• 方法：Schmidt正交化方法
  $\left(a_1,a_2,\cdots ,a_n\right)=\left(b_1,b_2,\cdots ,b_n\right)K$
  其中，$\{\begin{array}{rl}{b}_1=& a_1\\ b_2=& a_2-k_{21}{b}_1\\ & \cdots \cdots \\ b_n=& a_n-k_{n,n-1}{b}_{n-1}-\cdots -k_{n1}{b}_1\end{array}$，$K=\left[\begin{array}{cccc}1& k_{21}& \cdots & k_{n1}\\ & 1& \cdots & k_{n2}\\ & & \ddots & ⋮\\ & & & 1\end{array}\right]$
  令$Q=\left(q_1,q_2,\cdots ,q_n\right),R=\left[\begin{array}{llll}\left|b_1\right|& & & \\ & \left|b_2\right|& & \\ & & \ddots & \\ & & & \left|b_n\right|\end{array}\right]\left[\begin{array}{ccccc}1& k_{21}& \cdots & k_{n1}& \\ & 1& \cdots & k_{n2}& \\ & & \ddots & ⋮& \\ & & & & 1\end{array}\right]$
• 例题：
  

2.1 Givens变换(由Givens矩阵确定的变换)

Givens矩阵性质：

1. $T_{ij}^T{T}_{ij}=T_{ij}(c,-s)=\left[\begin{array}{ccccc}I& & & & \\ & c& & -s& \\ & & I& & \\ & s& & c& \\ & & & & I\end{array}\right],\left|T_{ij}\right|=1$
2. $x=\left[\begin{array}{c}{\xi }_1\\ ⋮\\ {\xi }_n\end{array}\right],T_{ij}x=\left[\begin{array}{c}{\eta }_1\\ ⋮\\ {\eta }_n\end{array}\right]\Rightarrow \{\begin{array}{l}{\eta }_i=c{\xi }_i+s{\xi }_j\\ {\eta }_j=-s{\xi }_i+c{\xi }_j\\ {\eta }_k={\xi }_k(k\ne i,j)\end{array}$
   若 ${\xi }_i^2+{\xi }_j^2\ne 0$, , 取 $c=\frac{{\xi }_i}{\sqrt{{\xi }_i^2+{\xi }_j^2}},s=\frac{{\xi }_j}{\sqrt{{\xi }_i^2+{\xi }_j^2}}$
   则 ${\eta }_i=\sqrt{{\xi }_i^2+{\xi }_j^2}>0,{\eta }_j=0$

• 例题：
  

2.2 HouseHolder变换

• 定义:
    设单位列向量 $u\in R^n$, 称 $H=I-2u{u}^T$为Householder矩阵(初等反射矩阵), 由 $\mathbf{H}$ 矩阵确定的线性变换称为Householder变换。

注意：$e_i{e}_i^T即在第i行i列为1，其余都为0的矩阵$

• 性质：
  ${\mathbf{H}}_u={\mathbf{I}}_n-2u{u}^T(u\in R^n$ 是单位列向量 $)$
  (1) $\mathbf{H}={\mathbf{H}}^T$    对称
  (2) ${\mathbf{H}}^T\mathbf{H}=\mathbf{I}$   正交
  (3) ${\mathbf{H}}^2=\mathbf{I}$    对合
  (4) ${\mathbf{H}}^{-1}=\mathbf{H}$   自逆
  (5) $\det \mathbf{H}=-1$  自逆

• 例题：
  $u=\frac{x-|x|z}{|x-|x|z|}$
  

2.3 G矩阵和H矩阵关系

1. G矩阵 $T_{ij}(c,s)\Rightarrow \exists \mathrm{H}，$矩阵 $H_u$ 与 $H_v$, st $T_{ij}=H_u{H}_v$

$T_{ij}(c,s)=\left[\begin{array}{ccccc}I& & & & \\ & \cos \theta & & \sin \theta & \\ & & I& & \\ & -\sin \theta & & \cos \theta & \\ & & & & I\end{array}\right]$
$\nu ={\left[\begin{array}{lllllllllcc}0& \cdots & 0& \sin \frac{\theta }{4}& 0& \cdots & 0& \cos \frac{\theta }{4}& 0& \cdots & 0\end{array}\right]}^T$
$u={\left[\begin{array}{lllllllllcc}0& \cdots & 0& \sin \frac{3\theta }{4}& 0& \cdots & 0& \cos \frac{3\theta }{4}& 0& \cdots & 0\end{array}\right]}^T$

2. H-矩阵不能由若干个 G矩阵的乘积来表示

$\det H=-1$, 而 $\det G=1$

2.4 G变化法进行QR分解

2.5 H变换法进行QR分解

3. 矩阵的满秩分解

• 目的：对 $A\in C_r^{m\times n}(n\ge 1)$, 求 $F\in C_r^{m\times r}$, 及 $G\in C_r^{r\times n}$ 使 $A_{m\times n}=F_{m\times r}{G}_{r\times n}$
• 例题：
  
  $A=P^{-1}B=\left(F_{m\times r}\mid S_{m\times (m-r)}\right)\left(\begin{array}{l}G\\ O\end{array}\right)=FG$
  

4. 奇异值分解SVD

4.0 Hermite（半）正定矩阵和酉矩阵

矩阵A是Hermite矩阵，则 $A^H=A$
设 $\mathrm{A}$ 为 $\mathrm{n}$ 阶Hermite矩阵，如果对任意 $n$ 维向量 $\mathrm{X}$ 都有 $x^{H}Ax\ge 0$ ，则称 $\mathrm{A}$ 为半正定（非 负定) 矩阵; 如果对任意 $n$ 维向量X都有 $x^{H}Ax>0$ ，则称 $A$ 为正定矩阵。

酉矩阵：$Q^{H}Q=I$

4.1 奇异值分解

目的：$A=UD{V}^H$
定理 16: $A_{m\times n}\in C_r^{m\times n}(r\ge 1),{\Sigma }_r=\left[\begin{array}{lll}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right]$为奇异值矩阵,
存在酉矩阵 $U_{m\times m}$ 及 $V_{n\times n}$, 使得 $U^{H}AV={\left[\begin{array}{cc}{\Sigma }_r& 0\\ 0& 0\end{array}\right]}_{m\times n}\triangleq D$

定理17: $A\in C_r^{m\times n}(r\ge 0)$ 的奇异值分解 $A=U\left[\begin{array}{ll}\Sigma & 0\\ 0& 0\end{array}\right]V^H$ 中, 划分 $U=\left(u_1,u_2,\cdots ,u_m\right),V=\left(v_1,v_2,\cdots ,v_n\right)$, 则有
(1) N ( A ) = span ⁡ { v r + 1 , v r + 2 , ⋯   , v n } N(A)=\operatorname{span}\left\{v_{r+1}, v_{r+2}, \cdots, v_{n}\right\} N(A)=span{vr+1​,vr+2​,⋯,vn​};
(2) R ( A ) = span ⁡ { u 1 , u 2 , ⋯   , u r } R(A)=\operatorname{span}\left\{u_{1}, u_{2}, \cdots, u_{r}\right\} R(A)=span{u1​,u2​,⋯,ur​};
(3) $A={\sigma }_1{u}_1{v}_1^{\mathrm{H}}+{\sigma }_2{u}_2{v}_2^{\mathrm{H}}+\cdots +{\sigma }_r{u}_r{v}_r^{\mathrm{H}}$

$A_{m\times n},B_{m\times n}$, 若有酉矩阵 $U_{m\times m}$ 及 $V_{n\times n}$, 使 $U^{H}AV=B$ 称 $\mathbf{A}$ 与 $\mathbf{B}$ 正交相抵。
定理18: $\begin{array}{rl}A\text{ 与 }B\text{ 正交相抵 }& \Rightarrow {\sigma }_A={\sigma }_B\\ \text{ 证明: }B=U^{H}AV& \Rightarrow B^{H}B=\cdots =V^{-1}\left(A^{H}A\right)V\\ & \Rightarrow {\lambda }_{B^{H}B}={\lambda }_{A^{H}A}\ge 0\\ & \Rightarrow {\sigma }_A={\sigma }_B\end{array}$