[矩阵的三角分解系列一] 高斯消元法

矩阵的三角分解是求解线性方程组常用的方法，包括LU分解，LDU分解，杜利特(Doolittle)分解，克劳特(Crout)分解，LLT(乔累斯基Cholesky)分解，LDLT(不带平方根乔累斯基)分解等，以及为了满足分解条件又加入行列变换的LPU分解，PLU分解，LUP分解，LDPU分解等。这里矩阵的三角分解系列教程主要是针对在学习三角分解时候的涉及到的一些细节，包括很多方法的来源和证明等，以及其中用到的一些矩阵操作的基础知识，主要包括：

• [矩阵的三角分解系列一] 高斯消元法
• [矩阵的三角分解系列二] LDU基本定理
• [矩阵的三角分解系列三] 杜利特/克劳特分解公式
• [矩阵的三角分解系列四] 乔累斯基(Cholesky)分解公式
• [矩阵的三角分解系列五] 三角分解中的行列变换
• [矩阵的三角分解系列六] Eigen中的三角分解

这个系列后面文章会用到前面文章的理论和技术，所以建议按照顺序查看。

简介

这里讲解高斯消元法的主要是以矩阵语言来描述高斯消元这个过程，然后主要是为后面的矩阵的三角分解打下基础。矩阵的三角分解推导以及证明的过程需要依赖高斯消元的理论基础。
具体来说高斯消元法的基本思想就是利用矩阵的初等行变换把求解$\mathbf{A}\mathbf{x}=\mathbf{b}$中的矩阵$\mathbf{A}$转成上三角矩阵，需要注意这里讲解矩阵变换过程中不会利用到矩阵行交换。

矩阵行交换后面某些文章中会讲到，因为矩阵$\mathbf{A}$的三角分解需要矩阵满足一定的条件，如果条件不满足，可以考虑交换矩阵$\mathbf{A}$的两行，当然这个行变换后也不再是矩阵$\mathbf{A}$了。这样对于处理解线性方程组来说，相当于调整方程的顺序，对解不产生影响，但是可以使三角分解进行下去。

高斯消元过程

设$n$元线性方程组为
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1,\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2,\\ ⋮\\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n,\end{array}\text{\hspace{1em}(1)}$$
转出矩阵表示为
$$\mathbf{A}\mathbf{x}=\mathbf{b}\text{\hspace{1em}(2)}$$
其中
$$\mathbf{A}=(a_{ij}{)}_{n\times n},\mathbf{x}=(x_1,x_2,\dots ,x_n{)}^{\mathrm{T}},\mathbf{b}=(b_1,b_2,\cdots ,b_n{)}^{\mathrm{T}}.$$
对$\mathbf{A}$进行高斯消元的主要过程

1. 未进行高斯消元时
   $${\mathbf{A}}^{(1)}=\mathbf{A}＝\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ a_{21}^{(1)}& a_{22}^{(1)}& \cdots & a_{2n}^{(1)}\\ ⋮& ⋮& & ⋮\\ a_{n1}^{(1)}& a_{n2}^{(1)}& \cdots & a_{nn}^{(1)}\end{array}\right]\text{\hspace{1em}(3)}$$
   其中右上角括号内的标号表示进行$i$次高斯消元后改变的值。
2. 如果矩阵${\mathbf{A}}^{(1)}$的主元素$a_{11}^{(1)}\ne 0$，那么从第2行到第n行可以减去$a_{i1}^{(1)}/a_{11}^{(1)}$其中$i=2,3,\cdots ,n$，这样操作的目的是把${\mathbf{A}}^{(1)}$第1列上从第2个到第n个元素全部变为0。可得
   $${\mathbf{A}}^{(2)}＝\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ 0& a_{22}^{(2)}& \cdots & a_{2n}^{(2)}\\ ⋮& ⋮& & ⋮\\ 0& a_{n2}^{(2)}& \cdots & a_{nn}^{(2)}\end{array}\right]$$
   其中右上角括号变为2的那些元素以及上面提到的变为0的那些元素是这次高斯消元操作变化的那些元素。
   如果
   $$\begin{array}{rl}{l}_{i1}& =a_{i1}^{(1)}/a_{11}^{(1)},\\ a_{ij}^{(2)}& =a_{ij}^{(1)}-l_{i1}{a}_{1j}^{(1)},i,j=2,3,\cdots ,n,\end{array}$$
   一共需要进行$n-1$次的倍加初等变换，相当于${\mathbf{A}}^{(1)}$左乘$n-1$个倍加阵
   $$\begin{array}{rl}{\mathbf{A}}^{(2)}& =\mathbf{I}(1,n(-l_{n1}))\cdots \mathbf{I}(1,n(-l_{21})){\mathbf{A}}^{(1)}.\\ {\mathbf{L}}^{(1)}& =\mathbf{I}(1,n(-l_{n1}))\cdots \mathbf{I}(1,n(-l_{21}))\\ & =\left[\begin{array}{cccc}1& & & \\ -l_{21}& 1& & \\ ⋮& & \ddots & \\ -l_{n1}& & & 1\end{array}\right]=\left[\begin{array}{cccc}1& & & \\ -\frac{a_{21}^{(1)}}{a_{11}^{(1)}}& 1& & \\ ⋮& & \ddots & \\ -\frac{a_{n1}^{(1)}}{a_{11}^{(1)}}& & & 1\end{array}\right]\end{array}.\text{\hspace{1em}(4)}$$
   所以
   $${\mathbf{A}}^{(2)}={\mathbf{L}}^{(1)}{\mathbf{A}}^{(1)}=\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ 0& a_{22}^{(2)}& \cdots & a_{2n}^{(2)}\\ ⋮& ⋮& & ⋮\\ 0& a_{n2}^{(2)}& \cdots & a_{nn}^{(2)}\end{array}\right].\text{\hspace{1em}(5)}$$
   从上面过程可以看出来，${\mathbf{A}}^{(1)}=\mathbf{A}$的第1列除主元素$a_{11}^{(1)}$外，其余元素全部被化为了零，上面公式$(4)$被称为消元矩阵。
3. 同理，如果矩阵${\mathbf{A}}^{(2)}$的主元素$a_{22}^{(2)}\ne 0$，那么从第3行到第n行可以减去$a_{i2}^{(2)}/a_{22}^{(2)}$其中$i=3,4,\cdots ,n$，这样操作的目的是把${\mathbf{A}}^{(2)}$第2列上从第3个到第n个元素全部变为0。可得消元矩阵为
   $$\begin{array}{r}{\mathbf{L}}^{(2)}=\left[\begin{array}{ccccc}1& & & & \\ & 1& & & \\ & -l_{32}& 1& & \\ & ⋮& & \ddots & \\ & -l_{n2}& & & 1\end{array}\right]=\left[\begin{array}{ccccc}1& & & & \\ & 1& & & \\ & -\frac{a_{32}^{(2)}}{a_{22}^{(2)}}& 1& & \\ & ⋮& & \ddots & \\ & -\frac{a_{n2}^{(2)}}{a_{22}^{(2)}}& & & 1\end{array}\right]\end{array}.\text{\hspace{1em}(6)}$$
   其中
   $$l_{i2}=a_{i2}^{(2)}/a_{22}^{(2)},i=3,4,\cdots ,n,$$
   所以
   $${\mathbf{A}}^{(3)}={\mathbf{L}}^{(2)}{\mathbf{A}}^{(2)}=\left[\begin{array}{ccccc}{a}_{11}^{(1)}& a_{12}^{(1)}& a_{13}^{(1)}& \cdots & a_{1n}^{(1)}\\ & a_{22}^{(2)}& a_{23}^{(2)}& \cdots & a_{2n}^{(2)}\\ & & a_{33}^{(3)}& \cdots & a_{3n}^{(3)}\\ & & ⋮& & ⋮\\ & & a_{n3}^{(3)}& \cdots & a_{nn}^{(3)}\end{array}\right].\text{\hspace{1em}(7)}$$
4. 如果类似的过程操作$n-1$次后，就可以将原来的矩阵$\mathbf{A}$转换成上三角矩阵
   $${\mathbf{A}}^{(\mathbf{n})}={\mathbf{L}}^{(\mathbf{n}-1)}\cdots {\mathbf{L}}^{(2)}{\mathbf{L}}^{(1)}{\mathbf{A}}^{(1)}=\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ & a_{22}^{(2)}& \cdots & a_{2n}^{(2)}\\ & & \ddots & ⋮\\ & & & a_{nn}^{(n)}\end{array}\right].\text{\hspace{1em}(8)}$$
   上面就是高斯消元过程。

高斯消元条件判断

条件说明

个上面描述了整个高斯消元的主要过程，在其中$n-1$的每次消元的过程中，都需要满足${\mathbf{A}}^{(\mathbf{i})}$的主元素，也就是$a_{11}^{(1)},a_{22}^{(2)},\cdots ,a_{n-1,n-1}^{(n-1)}$都不能为零，否则高斯消元过程不能正常完成。
这些主元素都是高斯消元过程中的中间结果，需要提前判断是否满足高斯消元的条件才能决定是否执行高斯消元操作，而不是执行过程中才发现高斯消元过程进行不下去了。
首先定义$n$阶矩阵$\mathbf{A}$的前$n-1$个顺序主子式(第$i$个顺序主子式也就是原矩阵的左上角$i$阶方阵的行列式)
$$\begin{array}{rl}{\Delta }_1& =a_{11},\\ {\Delta }_2& =\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|,\\ ⋮& \\ {\Delta }_{n-1}& =\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{12}\\ ⋮& & ⋮\\ a_{n-1,1}& \cdots & a_{n-1,n-1}\end{array}\right|.\end{array}\text{\hspace{1em}(9)}$$
基于上面的定义，可以得到一个结论能说明在矩阵满足什么条件下才能正确的完成整个高斯消元过程（在不进行行变换的基础上）。
定理一
当${\Delta }_1,{\Delta }_2,\cdots ,{\Delta }_{n-1}$都不为零时，则$a_{kk}^{(k)}\ne 0(k-1,2,\cdots ,n-1)$。
定理二
高斯消元过程能够进行到底的充分必要条件是$\mathbf{A}$的前$n-1$个顺序主子式都不为零，即${\Delta }_k\ne 0(k=1,2,\cdots ,n-1)$。

上面的定理表示如果要对一个矩阵进行高斯消元，通过计算原始矩阵的前$n-1$个顺序主子式就可以判断是否该矩阵完成整个高斯消元过程。

证明

这一步证明上面的当${\Delta }_1,{\Delta }_2,\cdots ,{\Delta }_{n-1}$都不为零可以推导出$a_{kk}^{(k)}\ne 0(k-1,2,\cdots ,n-1)$的结论。
这里用数学归纳法来证明。

1. ${\Delta }_1=a_{11}=a_{11}^{(1)}$，显然当${\Delta }_1\ne 0$，$a_{11}^{(1)}\ne 0$。
2. 然后假设阶数为$k-1$时成立，由归纳法假设知$a_{ii}^{(i)}\ne 0(i=1,2,\cdots ,k-1)$，根据前面的消元过程
   $${\mathbf{A}}^{(\mathbf{k})}={\mathbf{L}}^{(\mathbf{k}-1)}\cdots {\mathbf{L}}^{(2)}{\mathbf{L}}^{(1)}\mathbf{A}=\left[\begin{array}{ccccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & \cdots & a_{1n}^{(1)}\\ & a_{22}^{(2)}& \cdots & \cdots & a_{2n}^{(2)}\\ & \ddots & ⋮& & ⋮\\ & & a_{kk}^{(k)}& \cdots & a_{kn}^{(k)}\\ & & ⋮& & ⋮\\ & & a_{n3}^{(k)}& \cdots & a_{nn}^{(k)}\end{array}\right].$$
   在进行高斯消元过程中进行的倍加初等变换不改变矩阵$\mathbf{A}$的行列式的值，所以从上面${\mathbf{A}}^{(\mathbf{k})}$的形状可知，矩阵$\mathbf{A}$的前$n-1$个顺序主子式满足下面关系
   $$\begin{array}{rl}{\Delta }_1& =a_{11}=a_{11}^{(1)},\\ {\Delta }_2& =\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=\left|\begin{array}{cc}{a}_{11}^{(1)}& a_{12}^{(1)}\\ 0& a_{22}^{(2)}\end{array}\right|=a_{11}^{(1)}{a}_{22}^{(2)},\\ ⋮& \\ {\Delta }_k& =\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{12}\\ ⋮& & ⋮\\ a_{k,1}& \cdots & a_{k,k}\end{array}\right|=\left|\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1k}^{(1)}\\ & a_{22}^{(2)}& \cdots & a_{2k}^{(2)}\\ & & \ddots & ⋮\\ & & & a_{kk}^{(k)}\end{array}\right|=a_{11}^{(1)}{a}_{22}^{(2)}\cdots a_{kk}^{(k)}.\end{array}\text{\hspace{1em}(10)}$$
   根据假设已知${\Delta }_i\ne 0$同时$a_{ii}^{(i)}\ne 0(i=1,2,\cdots ,k-1)$，同时又有公式$(10)$可知$a_{kk}^{(k)}\ne 0$，则对$k$阶矩阵也成立。
   证明完成！！！

示例

三阶矩阵
$$\mathbf{A}=\left[\begin{array}{ccc}1& 2& 3\\ 4& 10& 15\\ 6& 18& 30\end{array}\right].$$
根据上面的过程可知
$$\{\begin{array}{l}{\Delta }_1=1\\ {\Delta }_2=2\end{array}$$
满足上面的定理二，该矩阵的高斯消元过程能够进行到底。
根据高斯消元过程得
$$\begin{array}{r}\{\begin{array}{ll}{\mathbf{A}}^{(1)}=\mathbf{A}& =\left[\begin{array}{ccc}1& 2& 3\\ 4& 10& 15\\ 6& 18& 30\end{array}\right],\\ & \\ {\mathbf{A}}^{(2)}& =\left[\begin{array}{ccc}1& 2& 3\\ & 2& 3\\ & 6& 12\end{array}\right],\\ & \\ {\mathbf{A}}^{(3)}& =\left[\begin{array}{ccc}1& 2& 3\\ & 2& 3\\ & & 3\end{array}\right].\end{array}\end{array}$$

引用

【1】 矩阵论(第二版)