如何理解选主元的Doolittle分解法

书中讲解不是很详细，理解之后总结一下

首先说一下，之所以要理解选主元的Doolittle分解是因为书中对于该分解过程的讲解比较违和。本文的目的是为了说明：选主元的Doolittle分解法分解得到的LU矩阵所计算得到的方程组的解与普通的Doolittle分解计算得到的解是同一个解，因而也是原方程组的解。

申明

• Doolittle分解在计算L矩阵和U举证的时候需要进行$n$次循环，本文用$k$表示当前循环次数，在文中我把它称之为 第$k$轮分解。
• 通常在计算$L$矩阵和$U$矩阵的时候通常将两者写在一个矩阵中，所以在文中我直接称之为$LU$矩阵。
• 读懂本文首先你要对Doolittle分解和选主元的Doolittle分解已事先有了解，或者说你是带着疑问看的，否则不保证你能看懂。

正文开始

对于方程组：
$$Ax=b$$
​ Doolittle分解法最核心的是对目标求解矩阵 $A$做LU分解，考虑到计算机计算精度的问题需要上三角矩阵U的对角元素不能过小，于是有了选主元的Doolittle分解法，选主元本质上是对矩阵 $A$ 做行变换使矩阵$U$对角元素绝对值尽可能大。可以表示成下面公式的样子(左乘表示行变换)：
$$QA=LU$$
但是实际算法操作的时候并不是一次性的得到变换矩阵$Q$ ，或者说矩阵$Q$在实际操作过程中并没有真正的出现过。那是怎么做的呢？接下来我假设从$k=1$开始演算这个过程：

$k=1$时

选取在矩阵第一列找出最大的元素，并且将最大元素行与第一行交换顺序，也就是一次选主元的行为，用公式可以表示为：
$$Q_{1}A$$
选主元之后按照常规的Doolittle分解法进行LU分解的第一轮操作，也就是对行变换后矩阵A进行操作，即：
$$(LU{)}_{k=1}$$

注：我这里用 $(LU{)}_{k=1}$ 表示计算$L$矩阵的第一列和$U$矩阵的第一行，下面的表述类似

$k=2$时

$k=1$ 时比较特殊，在接着 $k=1$ 讲述 $k=2$ 之前，需要先讲如下一种情况。

​ 假设进行普通的Doolittle分解，在计算 LU 分解的过程中,已经执行完了第 $k-1$ 轮计算，也就是已经计算到了 LU 矩阵的 $k-1$ 列，和 $k-1$ 行，在正要执行第 $k$轮操作的时候，我们单独执行一次选主元操作（为了便于理解，这里用语言描述）：

先计算 LU 矩阵第 $k$列的元素，然后比较这一列的元素，选出最大的一行，将这一行与 LU 矩阵的第k 行交换，向量$b$也做对应的行变换，然后再接着计算 LU 矩阵的第$k$ 行元素。这样完成一次选主元的操作。之后按照一般的操作计算全部LU矩阵元素。最后LU完全分解后表示为
$$L^{{}^{\prime }}{U}^{{}^{\prime }}$$
之后根据分解后的矩阵计算得到的线性方程组的解与不做选主元得到解在理论上是相等的，虽然他们的系数矩阵放生了变化。也就是等式
$$L^{{}^{\prime }}{U}^{’}x=b^{{}^{\prime }}$$
与单纯进行LU分解得到的方程组
$$LUx=b$$
同解。

那么到这里我们再想象一下，上面的操作是否等效于：

1. 先对矩阵 $A$ 的对应行做交换，(表示为 $Q_{k}A$)。
2. 然后再用一般的LU分解对其计算对应的 $L^{{}^{\prime \prime }}{U}^{{}^{\prime \prime }}$ 矩阵
3. 最后求方程组的解

答案是等效的。也就是说这个时候计算得到的$L^{{}^{\prime \prime }}=L^{{}^{\prime }}$ 、 $U^{{}^{\prime \prime }}=U^{{}^{\prime }}$，最后就是下面四个方程同解
$$Q_{k}Ax=Q_{k}b\iff L^{{}^{\prime }}{U}^{’}x=b^{{}^{\prime }}\iff LUx=b\iff Ax=b$$

这时候再回到 $k=2$ 的情况。根据前面 $k=1$ 情况下的描述，直接对 $Q_{1}A$ 做第一轮LU分解得到的LU矩阵的第一列的第一个元素就是本列最大的元素，这个时候如果按照一般Doolittle分解步骤执行，最后计算得出的解和原方程同样是同解的，也就是下面两个方程组同解
$$Q_{1}Ax=Q_{1}b\iff Ax=b$$
接下来我们将 $Q_{1}A$看做一个整体，记为 $A_1$，同时$b_1=Q_{1}b$。

此时再看一下求解 $A_{1}x=b_1$ 的过程：

• 对 $A_1$ 进行LU分解，在第二轮LU分解的时候选主元，之后按照一般的操作完成后面的LU分解，得到LU矩阵。

• 根据灰色文字的原理，这就等于先对 $A_1$ 进行行变换也就是 $Q_2{A}_1$，再按照一般LU分解继续计算得到的LU矩阵。即下面两个公式同解
  $$Q_2{A}_{1}x=Q_2{b}_1\iff A_{1}x=b_1$$

• 这里记 $A_2=Q_2{A}_1{b}_2=Q_2{b}_1$ ，那么就可以说，上面提到的对 $A_2$进行一般LU分解得到的LU矩阵的前两个对角元素就是选主元之后的元素，且理论上下面方程组同解：
  $$Ax=b$$

  $$A_{1}x=Q_{1}Ax=Q_{1}b=b_1$$

  $$A_{2}x=Q_2{A}_{1}x=Q_2{Q}_{1}Ax=Q_2{Q}_{1}b=Q_2{b}_1=b_2$$

​ 到这里就看出规律来了吧。以此类推，我们按照正常演算的思路顺一下，就可以很好地理解选主元的Doolittle分解法的内在原理了

1. 为了计算方程组 $Ax=b$，按照Doolittle分解法进行LU分解，为了减少计算误差，在第一轮LU分解中我们对LU矩阵第一列选主元，等价于对 $A$ 做行变换即 $Q_{1}A$ 做一般LU分解;
2. 在第一轮LU分解中对第一列选主元之后，接着在第二轮LU分解时，对其第二列做选主元，等价于对 $Q_{1}A$ 做第一轮一般LU分解后，在第二轮LU分解时选主元，进而等价于对 $Q_2{Q}_{1}A$ 执行两轮一般LU分解;
3. 同理继续做第三轮LU分解时，对LU矩阵第三列进行选主元，等价于对 $Q_2{Q}_{1}A$ 做两轮一般LU分解后，在第三轮LU分解时，选主元，进而等价于对 $Q_3{Q}_2{Q}_{1}A$ 做三轮一般LU分解
4. $\cdots \cdots$
5. 继续做第 $k$ 轮LU分解时，对LU矩阵第 $k$ 列进行选主元，等价于对 $Q_{k-1}\cdots Q_2{Q}_{1}A$ 做 $k-1$ 轮一般分解后，在第 $k$ 轮分解时，选主元，进而等价于对 $Q_k\cdots Q_2{Q}_{1}A$ 做 $k$ 轮一般LU分解
6. $\cdots \cdots$
7. 直到LU矩阵全部计算完成，并且每一轮分解都采用了选主元操作。
8. 最终等价于对 $Q_n{Q}_{n-1}\cdots Q_2{Q}_{1}A$ 做 $n$ 轮一般LU分解。得到的最终LU矩阵所得到的解与原方程同解即。也就是
   $$Ax=b\iff Q_n{Q}_{n-1}\cdots Q_2{Q}_{1}Ax=Q_n{Q}_{n-1}\cdots Q_2{Q}_{1}b\iff LUx=b_n$$