Chapter 2. Solving Linear Equations (Part 2)_singular versus invertible-CSDN博客

本文链接：https://blog.csdn.net/jeffyoung_registered/article/details/78156834

2.3 elimination using matrices

消元法解线性方程组，对于 3by3 的例子来说，过程还是能够描述清楚。但是遇到更大的方程组时，有太多的步骤了。所以把消元和矩阵结合起来，用更加简洁的形式来描述消元的所有步骤。

（1）the matrix form of one elimination step

还是从简单的例子出发，Ax=b：

⎡ ⎣ ⎢ 24 - 2 49 - 3 - 2 - 3 7 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ x 1 x 2 x 3 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ 2810 ⎤ ⎦ ⎥

$\begin{bmatrix} 2&4&-2 \\ 4&9&-3 \\ -2&-3&7 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 2\\8\\10 \end{bmatrix}$

按照消元法，第一步我们要做的是：
subtract 2 times the first equation from the second equation（第二行减去第一行的两倍）
对于方程组右边的b来说，变成了：

b = ⎡ ⎣ ⎢ 2810 ⎤ ⎦ ⎥ \to b n e w = ⎡ ⎣ ⎢ 2410 ⎤ ⎦ ⎥

$\textbf b = \begin{bmatrix} 2\\8\\10 \end{bmatrix} \rightarrow \textbf b_{new} = \begin{bmatrix} 2\\4\\10 \end{bmatrix}$

这一步减法用矩阵来做， $\textbf b_{new}=\textbf {Eb}$ ，这个矩阵E就叫它消元矩阵。
那么E的庐山真面目，究竟如何呢？
铛当当当！

E = ⎡ ⎣ ⎢ 1 - 2 0 010001 ⎤ ⎦ ⎥

$\textbf E = \begin{bmatrix} 1&0&0 \\ -2&1&0 \\ 0&0&1 \end{bmatrix}$

对于普通形式的 $\textbf b = \begin{bmatrix} b_1\\b_2\\b_3 \end{bmatrix}$ ,

那么 $\textbf {Eb} = \begin{bmatrix} 1&0&0 \\ -2&1&0 \\ 0&0&1 \end{bmatrix}\begin{bmatrix} b_1\\b_2\\b_3 \end{bmatrix}=\begin{bmatrix} b_1\\b_2-2b_1\\b_3 \end{bmatrix}$

那么看看这个E有啥特点呢？

I = ⎡ ⎣ ⎢ 100010001 ⎤ ⎦ ⎥ \to E = ⎡ ⎣ ⎢ 1 - 2 0 010001 ⎤ ⎦ ⎥

$\textbf I = \begin{bmatrix} 1&0&0 \\ 0&1&0 \\0&0&1 \end{bmatrix} \rightarrow \textbf E = \begin{bmatrix} 1&0&0 \\ -2&1&0 \\0&0&1 \end{bmatrix}$

其实就是单位矩阵的第二行减去2倍的第一行，得到了这个E。
我们也把这种单位矩阵经过一次“变换”后得到的矩阵叫做elementary matrix（初等矩阵）。初等矩阵的记号为 $\textbf E_{ij}$ ，表示的是：单位矩阵的第j行减去一定倍数的第i行。（在这里指的是行变换情况下 $\textbf E_{ij}$ 的含义）

（2）matrix multiplication（矩阵乘法）

在（1）中，我们已经发现通过 $\textbf {Eb}$ 的运算，能够达到我们的要求，那么对于矩阵A来说，显然是： $\textbf {EA}$ 。
那么这里就要讲到矩阵之间的乘法（因为前面提到的都是Ax=b形式，即矩阵和向量间的乘法），例如：

A B = A [b 1 b 2 b 3] = [A b 1 A b 2 A b 3]

$\textbf{AB} = \textbf A\begin{bmatrix} \textbf b_1&\textbf b_2&\textbf b_3\end{bmatrix}=\begin{bmatrix} \textbf A\textbf b_1 & \textbf A\textbf b_2&\textbf A\textbf b_3\end{bmatrix}$

将矩阵的乘法看作矩阵A与B列向量的乘法的组合。

（3）the matrix $\textbf P_{ij}$ for a row exchange

在（1）中提到了消元矩阵，实现消元法方法中的核心步骤。那么还有一种情况，就是主元位置出现了0，这时候我们要把主元位置非0的行与其做交换（如果存在符合要求的row），那么相应的提出了permutation matrix（置换矩阵）。
比如要交换第二行和第三行，那么：

P 23 = ⎡ ⎣ ⎢ 100001010 ⎤ ⎦ ⎥

$\textbf P_{23} = \begin{bmatrix} 1&0&0 \\ 0&0&1 \\ 0&1&0 \end{bmatrix}$

同样的，置换矩阵也是一种初等矩阵。

（4）the augmented matrix

对于方程组Ax=b，我们定义了一个矩阵 $\begin{bmatrix} \textbf A&\textbf b \end{bmatrix}$ ，叫做增广矩阵。

2.4 rules for matrix operations

矩阵的运算无非是加法，数乘，矩阵之间的乘法。

A matrix is a rectangular array of numbers or “entries”. When A has m rows and n columns , it is an “m by n” matrix.

The entry in row i and column j is called $a_{ij}$ or A(i,j).

对于加法和数乘都比较好理解，要讲一下的是矩阵之间的乘法：
比如AB，那么A的列就必须和B的行数相同。
举一个特殊的例子：
“1 by n” multiples “n by 1”，得到的结果是一个”1 by 1”的矩阵，其实也就是一个数啦，这就叫做点积。
那么对于一般形式的AB来说，算出来的矩阵的每个元素，都可以看作是一个点积：
The entry in row i and column j of AB is (row i of A) $\cdot$ (column of j)

这里还要举一个特殊的例子：
“n by 1” multiples “1 by n”，得到”n by n”的矩阵，这种列向量和行向量之间的矩阵乘法叫做外积，上面提到的点积我们也叫内积。

（1）the laws for matrix operations
…
（2）block matrices and block multiplication
…

2.5 inverse matrices

definition: the matrix A is invertible if there exists a matrix $A^{-1}$ such that

A - 1 A = I a n d A A - 1 = I

$A^{-1}A=I \ and \ AA^{-1}=I$

想一想，为什么要搞个逆矩阵这种概念呢?
因为比如我们解方程组的时候， $Ax=b$ （前提A是一个方阵），如果在两边都乘上一个矩阵B，满足 $AB=I$ ，那么等式就变成了 $Ix=Bb$ ，因为 $Ix=x$ ，要是已知B，然后和b相乘，x就求出来了？！所以现在问题就转移到，这个B长什么样？
因为 $AB=I$ ，所以我们给这个B下了个定义，取个名字叫做逆矩阵。

（1）the inverse of a product AB

(A B) - 1 = B - 1 A - 1

$(AB)^{-1} = B^{-1}A^{-1}$

（2）calculating $A^{-1}$ by Gauss-Jordan elimination

以3 by 3 的矩阵作为例子：

A = ⎡ ⎣ ⎢ 2 - 1 0 - 1 2 - 1 0 - 1 2 ⎤ ⎦ ⎥

$A = \begin{bmatrix} 2&-1&0 \\-1&2&-1 \\0&-1&2 \end{bmatrix}$

构造一个增广矩阵 $\begin{bmatrix}A&I\end{bmatrix}=\begin{bmatrix}2&-1&0&1&0&0 \\-1&2&-1&0&1&0 \\0&-1&2&0&0&1 \end{bmatrix}$
接着，开始进行行变换，使得增广矩阵左半边的 $A$ 变成 $I$ ，我们在2.3讲到，其实行变换消元的过程可以用矩阵乘法来表示，那么想一想，我们究竟用了一个什么矩阵使得 $A$ 变成了 $I$ ？
对了，就是 $A^{-1}$ ，当： $A \rightarrow I$ ， $I \rightarrow A^{-1}$

也就是:
Gauss-Jordan : Multiply $\begin{bmatrix}A&I\end{bmatrix}$ by $A^{-1}$ to get $\begin{bmatrix}I&A^{-1}\end{bmatrix}$
对于上述的例子，最终变为：
$\begin{bmatrix}I&A^{-1}\end{bmatrix}=\begin{bmatrix}1&0&0&\frac34&\frac12&\frac14 \\0&1&0&\frac12&1&\frac12 \\0&0&1&\frac14&\frac12&\frac34 \end{bmatrix}$