非方阵LU分解

矩阵乘向量

矩阵与向量的乘法，实际上是矩阵中 每一行作为行向量 与 列向量进行相乘，结果作为一个数，我们把多个数按照一定顺序排列起来也就是向量。

向量间的乘法也就是：两个向量中对应位置的元素 相乘然后再相加。

一个矩阵乘一个向量的结果是一个新的向量，因此我们可以把矩阵看成是对向量的一种变换。

或可以看成向量的函数 $f(\vec{x})=\vec{b}$

例如

$$\left\{\begin{array}{cc}1& 2\\ 3& 4\end{array}\right\}\cdot \left\{\begin{array}{c}5\\ 6\end{array}\right\}=\left\{\begin{array}{c}17\\ 39\end{array}\right\}$$

矩阵乘矩阵

矩阵乘以矩阵，那么我们可以把乘号右边的矩阵看成是由多个列向量，那么矩阵乘以矩阵就可以看成是一个矩阵 分别乘以 多个列向量的，把得到的结果排列起来形成一个新的矩阵，如下所示：

也就是说矩阵乘法的结果是对一组向量进行变换的结果，或可以理解成是对 乘号右边 矩阵的变换。

高斯消元法

高斯消元法，也就是把一个矩阵通过下面3种操作，变换成一个对角线下方全是0的上三角矩阵。

1. 某一行 乘 一个常数
2. 某一行 加（减） 另一个
3. 交换某两行

如：

$$\left\{\begin{array}{ccc}1& 2& 3\\ 0& 1& 4\\ 0& 0& 1\end{array}\right\}$$

这些操作我们都可以看成是一种对矩阵的变换行为，因此这三种变换都可以写成一个 变换矩阵 乘 原矩阵，这些变换矩阵被称为 初等矩阵。（见初等矩阵定义）

也就是：

$$E\cdot A=B$$

• $E$ 为初等矩阵
• $A$ 为原矩阵

那么高斯消元法，实际上也就是找到一系列的初等矩阵对原矩阵进行变换，也就是左乘于原矩阵。

$$E_n\cdot ...\cdot E_2\cdot E_1\cdot A=B$$

关于LU分解

一个矩阵矩阵可以分解为两个矩阵相乘的形式，其中A、L、U均为矩阵。

$$A=L\cdot U$$

通过该种分解，可以分解为一个下三角矩阵 乘 一个上三角矩阵，分解后可以有效提升提矩阵计算效率。

根据LU定义的定义，再观察一下高斯消元法的定义：

$$E_n\cdot ...\cdot E_2\cdot E_1\cdot A=B$$

• 通过结合律可以先将对 $E_n\cdot ...\cdot E_2\cdot E_1$ 进行计算得到一个新的矩阵我们可以称它为$C$
• 由于初等矩阵具有可逆性质，所以我们可以在等号两边同时左乘一个$C^{-1}$

$$C^{-1}\cdot C\cdot A=C^{-1}\cdot B$$
$$I\cdot A=C^{-1}\cdot B$$
$$A=C^{-1}\cdot B$$
$$C^{-1}=E_1^{-1}\cdot E_2^{-1}\cdot ...\cdot E_n^{-1}$$

• 这里化简后正好也就是一个 $A=L\cdot U$ 的形式
• 而且通过高斯得到的结果B是一个上三角矩阵
• 实际上初等变换要是不发生行交换操作，那么结果是一个下三角矩阵。

通过高斯消元的过程，我们可以找到LU分解的两个矩阵，一个为变换矩阵的逆矩阵，一个为消元结果矩阵

非方阵的LU分解

LU分解不但可以应用于方阵也可应用于非方阵。

列数大于行数

仍然采用高斯消元的进行矩阵LU的分解 $n\times m=n\times n\cdot n\times m$

例如对一个 $4\times 6$矩阵可以分解为 $4\times 4\cdot 4\times 6$

$$\left\{\begin{array}{cccccc}\ast & \ast & \ast & \ast & \ast & \ast \\ \ast & \ast & \ast & \ast & \ast & \ast \\ \ast & \ast & \ast & \ast & \ast & \ast \\ \ast & \ast & \ast & \ast & \ast & \ast \end{array}\right\}=\left\{\begin{array}{cccc}1& 0& 0& 0\\ \ast & 1& 0& 0\\ \ast & \ast & 1& 0\\ \ast & \ast & \ast & 1\end{array}\right\}\cdot \left\{\begin{array}{cccccc}\ast & \ast & \ast & \ast & \ast & \ast \\ 0& \ast & \ast & \ast & \ast & \ast \\ 0& 0& \ast & \ast & \ast & \ast \\ 0& 0& 0& \ast & \ast & \ast \end{array}\right\}$$

行数大于列数

这种情况可以有两种方式进行分解

方式1

采用高斯消元的思路分解 $n\times m=n\times n\cdot n\times m$

例如分解 $4\times 3$矩阵可以分解为 $4\times 4\cdot 4\times 3$

$$\left\{\begin{array}{ccc}\ast & \ast & \ast \\ \ast & \ast & \ast \\ \ast & \ast & \ast \\ \ast & \ast & \ast \end{array}\right\}=\left\{\begin{array}{cccc}1& 0& 0& 0\\ \ast & 1& 0& 0\\ \ast & \ast & 1& 0\\ \ast & \ast & \ast & 1\end{array}\right\}\cdot \left\{\begin{array}{ccc}\ast & \ast & \ast \\ 0& \ast & \ast \\ 0& 0& \ast \\ 0& 0& 0\end{array}\right\}$$

这种变换方式是对对于行的变换。

方式2

换个角度将其分解为 $n\times m=n\times m\cdot m\times m$ (其中$n\times m$为下三角，$m\times m$为上三角)

例如分解 $4\times 3$矩阵可以分解为 $4\times 3\cdot 3\times 3$

$$\left\{\begin{array}{ccc}\ast & \ast & \ast \\ \ast & \ast & \ast \\ \ast & \ast & \ast \\ \ast & \ast & \ast \end{array}\right\}=\left\{\begin{array}{ccc}1& 0& 0\\ \ast & 1& 0\\ \ast & \ast & 1\\ \ast & \ast & \ast \end{array}\right\}\cdot \left\{\begin{array}{ccc}\ast & \ast & \ast \\ 0& \ast & \ast \\ 0& 0& \ast \end{array}\right\}$$

我们知道一个矩阵 左乘 一个初等矩阵表示从行的角度来看是：加、减另一行，或某行缩放多少倍，或是交换某两行。

是否考虑过，右乘 初等矩阵 是什么意义？
实际上 右乘 初等矩阵表示对乘号左边矩阵的列进行变换：

• 某一列加上、减去另一列
• 某一列乘上一个常数（缩放）
• 交换某两列

当明白了右乘的意义后，就可以对一个行数大于列数的矩阵通过一定变换，变换为一个下三角矩阵。

变换的方式就是按照高斯消元法的思路对矩阵中的列进行变换，并把变换的各初等矩阵的逆相乘，最终就可以得到变换矩阵，也就LU分解的结果之一。

比较

方式1相较方式2有更高的计算复杂度，因此一般库在处理此类问题可能会采用方式2实现。

LU分解示例 行数大于列数

对如下矩阵LU分解：

$$\left\{\begin{array}{ccc}1& 2& 2\\ 3& 4& 3\\ 2& 6& 3\\ 4& 5& 12\end{array}\right\}$$

高斯消元法思路是从行变换角度来达到消元的目标，现在我们从列变换的角度出发，对列消元。

从最左边的列开始，依次阶梯向下消元，使的每行的首元为1，首元后的行其他元素为0。

• 第1行 第1列为 $1$是满足首元要求，因此不需要变换。
• 第1行 第2列为 $2$，可以将 第2列减去2倍的第1列 达到消元效果，设该变换矩阵为 $e_1$，如下：

$$\left\{\begin{array}{ccc}1& 2& 2\\ 3& 4& 3\\ 2& 6& 3\\ 4& 5& 12\end{array}\right\}\cdot \left\{\begin{array}{ccc}1& -2& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right\}=\left\{\begin{array}{ccc}1& 0& 2\\ 3& -2& 3\\ 2& 2& 3\\ 4& -3& 12\end{array}\right\}$$

• 第1行 第3列为 $2$，可以将 第3列减去2倍的第1列达到消元效果，设该右乘的变换矩阵为 $e_2$，如下：

$$\left\{\begin{array}{ccc}1& 0& 2\\ 3& -2& 3\\ 2& 2& 3\\ 4& -3& 12\end{array}\right\}\cdot \left\{\begin{array}{ccc}1& 0& -2\\ 0& 1& 0\\ 0& 0& 1\end{array}\right\}=\left\{\begin{array}{ccc}1& 0& 0\\ 3& -2& -3\\ 2& 2& -1\\ 4& -3& 4\end{array}\right\}$$

接下来对第2行进行消元：

• 第2行 第2列为 $-2$，可以将 第2列乘 $-1/2$ 满足首元为1，设该右乘的变换矩阵为 $e_3$，如下：

$$\left\{\begin{array}{ccc}1& 0& 0\\ 3& -2& -3\\ 2& 2& -1\\ 4& -3& 4\end{array}\right\}\cdot \left\{\begin{array}{ccc}1& 0& 0\\ 0& -1/2& 0\\ 0& 0& 1\end{array}\right\}=\left\{\begin{array}{ccc}1& 0& 0\\ 3& 1& -3\\ 2& -1& -1\\ 4& 1.5& 4\end{array}\right\}$$

• 第2行 第3列$-3$，可以将 第3列加3倍的第2列 达到消元效果，设该右乘的变换矩阵为 $e_4$，如下：

$$\left\{\begin{array}{ccc}1& 0& 0\\ 3& 1& -3\\ 2& -1& -1\\ 4& 1.5& 4\end{array}\right\}\cdot \left\{\begin{array}{ccc}1& 0& 0\\ 0& 1& 3\\ 0& 0& 1\end{array}\right\}=\left\{\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 2& -1& -4\\ 4& 1.5& 8.5\end{array}\right\}$$

接下来对第3行进行消元：

• 第3行第3列为$-4$，可以将 第3列乘 $-1/4$ 满足首元为1，设该右乘的变换矩阵为 $e_5$，最终消元结果矩阵为$L$，如下：

$$\left\{\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 2& -1& -4\\ 4& 1.5& 8.5\end{array}\right\}\cdot \left\{\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1/4\end{array}\right\}=\left\{\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 2& -1& 1\\ 4& 1.5& -2.125\end{array}\right\}$$

这样我们通过一系列的消元得到了一个下三角矩阵。

$$A\cdot e_1\cdot e_2\cdot e_3\cdot e_4\cdot e_5=L$$

这里在等号两边依次右乘上相应变换矩阵的逆，消去左边的变换矩阵，只留下$A$

$$A\cdot e_1\cdot e_2\cdot e_3\cdot e_4\cdot e_5\cdot e_5^{-1}\cdot e_4^{-1}\cdot e_3^{-1}\cdot e_2^{-1}\cdot e_1^{-1}=L\cdot e_5^{-1}\cdot e_4^{-1}\cdot e_3^{-1}\cdot e_2^{-1}\cdot e_1^{-1}$$

通过结合律，我们就可得到矩阵$U$

$$A=L\cdot (e_5^{-1}\cdot e_4^{-1}\cdot e_3^{-1}\cdot e_2^{-1}\cdot e_1^{-1})$$

$$U=e_5^{-1}\cdot e_4^{-1}\cdot e_3^{-1}\cdot e_2^{-1}\cdot e_1^{-1}$$
通过计算$e_5^{-1}\cdot e_4^{-1}\cdot e_3^{-1}\cdot e_2^{-1}\cdot e_1^{-1}$，可得到$U$为：

$$\left\{\begin{array}{ccc}1& 2& 2\\ 0& -2& -3\\ 0& 0& -4\end{array}\right\}$$

参考文献

[1]. 慕课网 .
专为程序员设计的线性代数课程 . liuyubobobo . https://coding.imooc.com/learn/list/260.html