《矩阵论》学习笔记（四）：4.1 矩阵的三角分解

《矩阵论》学习笔记（四）：4.1 矩阵的三角分解

• 提出的目的：
  由于三角矩阵的计算，像行列式、逆矩阵、求解线性方程组等都是很方便的，所以考虑将普通矩阵分解成一些三角矩阵的乘积，从而简化运算。

一、Gauss消去法的矩阵形式

1.1. 引入

对n元线性方程组$A\vec{x}=\vec{w}$，求解通常采用高斯主元素消去法— 将增广矩阵进行行阶梯化简成三角矩阵。

线性方程组$A\vec{x}=\vec{w}$	增广矩阵	高斯主元素消去法
$$\{\begin{array}{l}{a}_{11}x1+a_{12}x2+a_{13}x3=w1\\ a_{21}x1+a_{22}x2+a_{23}x3=w2\\ a_{31}x1+a_{32}x2+a_{33}x3=w3\end{array}$$	$$\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& w_1\\ a_{21}& a_{22}& a_{23}& w_2\\ a_{31}& a_{32}& a_{33}& w_3\end{array}\right]$$	$$\left[\begin{array}{cccc}{a}_{11}^{\prime }& a_{12}^{\prime }& a_{13}^{\prime }& z_1^{\prime }\\ 0& a_{22}^{\prime }& a_{23}^{\prime }& z_2^{\prime }\\ 0& 0& a_{33}^{\prime }& z_3^{\prime }\end{array}\right]$$

1.2. 矩阵论中的三角分解理论

为建立矩阵论的三角分解理论，使用矩阵理论描述高斯主元素消去法的消元过程。

- 高斯消元过程：

对矩阵A采用按自然顺序选主元素法进行消元。

令$A^{(0)}=A$，由于倍加初等变换不改变矩阵行列式的值，不断使用A的k阶顺序主子式$△k$，构造Frobenius矩阵$L_k$，最终得到矩阵$A^{(n-1)}$.
$$A^{(n-1)}=\left[\begin{array}{cccc}{a}_{11}^{(0)}& a_{12}^{(0)}& ...& a_{1n}^{(0)}\\ & a_{22}^{(1)}& ...& a_{2n}^{(1)}\\ & & ...& \\ & & & a_{nn}^{(n-1)}\end{array}\right]$$

-高斯消元过程	几个要点
1- 过程中的特点	不使用行/列变换.
2- 能进行到底的条件	前n-1个顺序主子式均不为0.
3- 结果的特点	矩阵A高斯消元过程得到的LU分解是存在且唯一。 其中，L是单位下三角阵，U是上三角阵。

二、 矩阵的LU/LDU分解

由$A=A^{(0)}=L_1{A}^{(1)}=...=L_1{L}_2...L_{n-1}{A}^{(n-1)}$得到以下：

2.1. LU/LDU分解公式

– - 矩阵的LU分解公式：
> $A=LU$. 其中，L为下三角矩阵，U为下三角矩阵。$L=L_1{L}_2...L_{n-1}$， $$U=A^{(n-1)}=\left[\begin{array}{cccc}{a}_{11}^{(0)}& a_{12}^{(0)}& ...& a_{1n}^{(0)}\\ & a_{22}^{(1)}& ...& a_{2n}^{(1)}\\ & & ...& \\ & & & a_{nn}^{(n-1)}\end{array}\right]$$（能够将一个矩阵表示成一个上三角矩阵×下三角矩阵的形式，简化计算）
– - 矩阵的LDU分解公式：
> $A=LDU$. 其中，L为单位下三角矩阵，D为对角矩阵，U为单位下三角矩阵。

2.2. 三角分解的存在性与唯一性

先要满足‘存在’，讨论 ‘是否是唯一’ 才有意义。

-	存在性	唯一性
奇异矩阵	1- 若满足前n-1个顺序主子式≠0 $\Rightarrow$ 三角分解存在 [必要条件] 2- 若三角分解存在，不一定满足前n-1个顺序主子式≠0。 3-三角分解不存在 - ( 奇异 $\Rightarrow det(A)=0$ 且 $a_{nn}=0$ )	1- 若三角分解存在且满足前n-1个顺序主子式≠0 $\Rightarrow$ A=LU唯一;A=LDU唯一 2- 若三角分解存在但不满足前n-1个顺序主子式≠0 $\Rightarrow$ A=LU/LDU不一定唯一 3- 无
非奇异矩阵	1- 若满足n-1个顺序主子式≠0 $\iff$ 三角分解存在 [充要条件]。 [实际上，非奇异矩阵的$a_{nn}$≠0，n个主子式都≠0.] 2- 若三角分解不存在，即不满足n个顺序主子式≠0 $\iff$ 存在P使PA的所有顺序主子式≠0。即A虽不存在，PA存在LU分解。 [条件更强(只满足前n-1个就行)，但这是非奇异本身的性质]	1- 三角分解存在(A的前(n-1)阶顺序主子式≠0) $\iff$ A=LU唯一;A=LDU唯一 2- 三角分解不存在 $\iff$ PA=LU唯一; PA=LDU唯一

• 前(n-1)阶顺序主子式与唯一性

前(n-1)阶顺序主子式	存在性与唯一性
1- 均≠0	$\iff$ A=LU/LDU存在且唯一，Doolittle/Crout/Gholesky分解唯一 [充要条件]
2- 存在0	$\Rightarrow$ A=LU/LUD不一定存在； 若存在，也不一定唯一，可能有多种分解方式。

- 对以上的理解：
这里所研究的方阵A的三角分解是从Gauss消元法得出的。根据该过程： 1. 只要求前n-1个顺序主子式不为零，总可以得到LU分解(这里L是单位下三角阵，U是上三角阵)，且这个分解唯一。 而没要求最后第n阶顺序主子式为0(即det(A)可能为0，对应$a_{nn}$=0)，所以A可能是奇异的。若奇异，且LU存在，U的最右下角应为0。这个时候Gauss消元三角分解已经结束，即只进行到A(n-1)。
2. 这里引出了三角分解的概念，同时引入一个问题— A=LU是否唯一。 显然因为$A=LD{D}^{-1}U$, LU不唯一。 但自然顺序选主元下的Gauss消元法，执行过程要求前n-1个顺序主子式为零，即可导出唯一的LU分解(L是单位下三角阵，U是上三角阵)，且这个分解可以写成LDU的形式(即把原U的对角元素取出作为对角阵D即可，相应的U变成单位上三角阵)。
3. 从而引出定理- 【前n-1个顺序主子式不为0 当且仅当（“等价于”） A可唯一的分解为LDU】。 但如果前n-1个顺序主子式中出现0，这样三角分解不存在或有多个。
4. 推论：对于非奇异的情形，存在一般的LU分解即等价于所有顺序主子式为0。 但要注意：要求顺序主子式为0的条件比较强。—> 对于非奇异的矩阵A，是存在P使PA的所有顺序主子式≠0。即A虽然没有，PA是有LU分解的。
5. 对于奇异矩阵A也可以类似考虑置换矩阵来考察它是否满足前n-1个顺序主子式是否都为0。这其实对应着按列选主元（只有行置换），还是总体选主元（行列都可置换）。这样原矩阵A不能三角分解，但其置换后的矩阵可能可以进行LU分解。
6. 一般的三角分解可能是不存在的，也可能是不唯一的。 但按自然Gauss消元法，自然限定一边是单位三角矩阵，且因满足定理4.1，所以可以唯一确定。 从这个意义上，上面探讨的三角分解条件可以推出一般的三角分解，反之则不然。 但是结合初等变换与三角分解，仍可对一个秩为r的矩阵，进行类似计算。

2.3. 三角分解的求解方法

参见：[《线性代数及其应用》2.5]

对可逆方阵A，若A可以化成阶梯型矩阵U，且简化过程仅使用行倍加变换：
1. 存在单位下三角初等矩阵$E_1,...,E_p$使得：$E_p...E_1\ast A=U\to A=(E_p...E_1{)}^{-1}U$
2. $L=(E_p...E_1{)}^{-1}$，满足$(E_p...E_1)\ast L=I$
- 即：$A$左乘行变换$\to U$，$L$左乘行变换$\to I$

-	三角分解的求解步骤 ：
1.	$A\to U：A_{m\ast n}$ 经过初等行变换(无行交换)$\to$$U_{m\ast n}$，其中U是行阶梯矩阵.
2.	$U\to L：对U_{m\ast n}$ 确定主元列，每列元素除以列主元$\to L_{m\ast m}$，其中L是单位下三角方阵. 若主元列r<m，则用$I_m$补齐L的后(m-r)列.

三、可逆矩阵的三角分解

3.1. Doolittle/Crout分解的前提条件

A是非奇异/可逆矩阵，且假定A的LDU分解存在。

(这样A=LDU，D对角元素一定是非零的。如果按自然Gauss消元法，D最后一个元素可为0.)

可逆矩阵A有特殊LU分解方法	分解公式
1- Doolittle分解算法	$A=L(DU)=L{U}^{\prime }$
2- Crout分解算法	$A=(LD)U=L^{\prime }U$
3- Gholesky分解算法	$A=G{G}^T$

3.2. Doolittle分解

$A=L(DU)=L{U}^{\prime }$，其中$U^{\prime }=DU$。
L为对角元素为1的下三角矩阵，U’为上三角矩阵。
$$L^{\prime }=\left[\begin{array}{cccc}1& & & \\ l_{21}& 1& & \\ & ...& & \\ l_{n1}& l_{n2}& ...& 1\end{array}\right]，U=\left[\begin{array}{cccc}{u}_{11}& u_{12}& ...& l_{1n}\\ & u_{22}& ...& u_{2n}\\ & & ...& \\ & & & u_{nn}\end{array}\right]，$$
为了节省存储空间，将L和U’中元素写入矩阵A中相应位置上，得到如下矩阵：$$\to \left[\begin{array}{cccc}{l}_{11}& u_{12}& ...& l_{1n}\\ l_{21}& l_{22}& ...& u_{2n}\\ & & ...& \\ l_{n1}& l_{n2}& ...& l_{nn}\end{array}\right]$$

3.3. Crout分解

$A=(LD)U=L^{\prime }U$，其中$L^{\prime }=LD$。
L’为下三角矩阵，U为对角元素为1的上三角矩阵。
$$L^{\prime }=\left[\begin{array}{cccc}{l}_{11}& & & \\ l_{21}& l_{22}& & \\ & ...& & \\ l_{n1}& l_{n2}& ...& l_{nn}\end{array}\right]，U=\left[\begin{array}{cccc}1& u_{12}& ...& l_{1n}\\ & 1& ...& u_{2n}\\ & & ...& \\ & & & 1\end{array}\right]，$$
为节省存储空间，将L’和U中元素写入矩阵A中相应位置上，得到如下矩阵：$$\to \left[\begin{array}{cccc}{l}_{11}& u_{12}& ...& l_{1n}\\ l_{21}& l_{22}& ...& u_{2n}\\ & & ...& \\ l_{n1}& l_{n2}& ...& l_{nn}\end{array}\right]$$

• Crout分解算法步骤：
  L’的列 与 U的行 交替计算 (见课本p135)。

3.4. Gholesky分解

如果A不但是非奇异/可逆矩阵，A的LDU分解存在，而且是实对称正定矩阵，则有：

$A=A^T、LDU=U^{T}D{L}^T\to U=L^T、L=U^T$，从而：
$A=LDU=L(D^{\prime }{)}^{2}U=(L{D}^{\prime })(L{D}^{\prime }{)}^T=G{G}^T$，其中，$G=L{D}^{\prime }$是下三角矩阵，$D^{\prime }=\sqrt{(D)}$.

四、分块矩阵的拟LU分解与拟LDU分解

• 提出的目的：
  对于高阶方阵，如果能将其分解成拟三角矩阵和拟对角矩阵，将会极大的减少计算量。
  对矩阵$A\in R^{n\ast n}$，将A裂分成：
  $$A=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}& A_{22}\end{array}\right]$$

1. 如果$A_{11}$是可逆的，可构造下三角阵，使得A能拟LU分解与拟LDU分解。
   $\to det(A)=det(A_{11})det(A_{22}-A_{21}{A}_{11}^{-1}{A}_{12})\ne 0$
2. 如果$A_{22}$是可逆的，可构造下三角阵，使得A能拟LU分解与拟LDU分解。
   $\to det(A)=det(A_{22})det(A_{11}-A_{12}{A}_{22}^{-1}{A}_{21})\ne 0$

• 推出结论：

如果矩阵 $A\in R^{m\ast n}，B\in R^{n\ast m}$，则有：
$det(I_m+A{B}^T)=det(I_n+B^{T}A)$

五、三角分解的应用