矩阵关键概念：消元法、A=LU分解等（PartII）

接着PartI的内容，主要记录以下三个问题：

• Gauss-Jordan 消元法
• A=LU分解
• 矩阵相关性质

---

1.矩阵的消元（Matrix Elimination）
把$A$变成$U$的过程。

线性代数中最重要的一部分莫过于在Ax=b中对x的求解。回想一下，在求解线性方程组（如：二元方程组），我们采用的解法就是先消掉一个元，解出一个未知数后，再回带求解另一个未知数。
矩阵消元的步骤有：
1） 产生一个上三角矩阵（upper trianglar system）
2）回代（back substitution）

详细的做法：
1）将系数矩阵和b结合起来构成增广矩阵。对増广矩阵进行变换行成上三角矩阵，此时从下往上依次有一个未知数，两个未知数，…
讨论消元成功和失败的系数矩阵A：
若主元为0，暂时消元失效，通过行交换可选择新的主元；
若主元为0，且主元行下面行同列的元素均为0，则消元失败；
eg. 类似一个九维空间，消元失败即：更低维的空间存在于九维空间中。相当于八维空间中的向量的线性组合只能覆盖八维空间，那么对于九维空间b，则必然无解。
2）回代，即解出一个未知数，再带入求其他未知数，直至求出所有的解。

【重点-1】怎样把系数矩阵A变成上三角矩阵U？
初等矩阵（Elementary matrix）是桥梁。理解矩阵row picture是关键。

$E_{21}这个初等矩阵使得系数矩阵A（2,1）位置变为0$
$E_{32}这个初等矩阵使得系数矩阵A（3,2）位置变为0$

先简单回顾下row picture：
矩阵A的一行乘以矩阵B，得矩阵C的一行 =>行向量乘以矩阵；B中行的线性组合，组合系数为A的一行上的元素。
A的第一行乘以B得C的第一行；A的第二行乘以B得C的第二行；A的第三行乘以B得C的第三行。

举例理解：

$$第一步：$$
$$\begin{bmatrix} 1&0 &0 \\ -3&1 &0 \\ 0&0 &1 \\ \end{bmatrix} \begin{bmatrix} 1 &2 &1 \\ 3 &8 &1 \\ 0&4 &1 \end{bmatrix}=\begin{bmatrix} 1 &2 &1 \\ 0 &2 &-2 \\ 0&4 &1 \end{bmatrix}$$
$$E_{21}A$$

上述第一个矩阵是初等矩阵E21,使系数矩阵A在位置（2,1）处变为0。用行向量乘以矩阵方式理解