Chapter 2. Solving Linear Equations (Part 2)

2.3 elimination using matrices

消元法解线性方程组，对于 3by3 的例子来说，过程还是能够描述清楚。但是遇到更大的方程组时，有太多的步骤了。所以把消元和矩阵结合起来，用更加简洁的形式来描述消元的所有步骤。

（1）the matrix form of one elimination step

还是从简单的例子出发，Ax=b：

$$\begin{bmatrix} 2&4&-2 \\ 4&9&-3 \\ -2&-3&7 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 2\\8\\10 \end{bmatrix}$$

按照消元法，第一步我们要做的是：
subtract 2 times the first equation from the second equation（第二行减去第一行的两倍）
对于方程组右边的b来说，变成了：

$$\textbf b = \begin{bmatrix} 2\\8\\10 \end{bmatrix} \rightarrow \textbf b_{new} = \begin{bmatrix} 2\\4\\10 \end{bmatrix}$$

这一步减法用矩阵来做，$\textbf b_{new}=\textbf {Eb}$，这个矩阵E就叫它消元矩阵。
那么E的庐山真面目，究竟如何呢？
铛当当当！

$$\textbf E = \begin{bmatrix} 1&0&0 \\ -2&1&0 \\ 0&0&1 \end{bmatrix}$$

对于普通形式的$\textbf b = \begin{bmatrix} b_1\\b_2\\b_3 \end{bmatrix}$,

那么$\textbf {Eb} = \begin{bmatrix} 1&0&0 \\ -2&1&0 \\ 0&0&1 \end{bmatrix}\begin{bmatrix} b_1\\b_2\\b_3 \end{bmatrix}=\begin{bmatrix} b_1\\b_2-2b_1\\b_3 \end{bmatrix}$

那么看看这个E有啥特点呢？

$$\textbf I = \begin{bmatrix} 1&0&0 \\ 0&1&0 \\0&0&1 \end{bmatrix} \rightarrow \textbf E = \begin{bmatrix} 1&0&0 \\ -2&1&0 \\0&0&1 \end{bmatrix}$$

其实就是单位矩阵的第二行减去2倍的第一行，得到了这个E。
我们也把这种单位矩阵经过一次“变换”后得到的矩阵叫做elementary matrix（初等矩阵）。初等矩阵的记号为$\textbf E_{ij}$，表示的是：单位矩阵的第j行减去一定倍数的第i行。（在这里指的是行变换情况下$\textbf E_{ij}$的含义）

（2）matrix multiplication（矩阵乘法）

在（1）中，我们已经发现通过$\textbf {Eb}$的运算，能够达到我们的要求，那么对于矩阵A来说，显然是：$\textbf {EA}$。
那么这里就要讲到矩阵之间的乘法（因为前面提到的都是Ax=b形式，即矩阵和向量间的乘法），例如：

$$\textbf{AB} = \textbf A\begin{bmatrix} \textbf b_1&\textbf b_2&\textbf b_3\end{bmatrix}=\begin{bmatrix} \textbf A\textbf b_1 & \textbf A\textbf b_2&\textbf A\textbf b_3\end{bmatrix}$$

将矩阵的乘法看作矩阵A与B列向量的乘法 的组合。

（3）the matrix $\textbf P_{ij}$ for a row exchange

在（1）中提到了消元矩阵，实现消元法方法中的核心步骤。那么还有一种情况，就是主元位置出现了0，这时候我们要把主元位置非0的行与其做交换（如果存在符合要求的row），那么相应的提出了permutation matrix（置换矩阵）。
比如要交换第二行和第三行，那么：

$$\textbf P_{23} = \begin{bmatrix} 1&0&0 \\ 0&0&1 \\ 0&1&0 \end{bmatrix}$$

同样的，置换矩阵也是一种初等矩阵。

（4）the augmented matrix

对于方程组Ax=b，我们定义了一个矩阵$\begin{bmatrix} \textbf A&\textbf b \end{bmatrix}$，叫做增广矩阵。

2.4 rules for matrix operations

矩阵的运算无非是加法，数乘，矩阵之间的乘法。

A matrix is a rectangular array of numbers or “entries”. When A has m rows and n columns , it is an “m by n” matrix.

The entry in row i and column j is called $a_{ij}$ or A(i,j).

对于加法和数乘都比较好理解，要讲一下的是矩阵之间的乘法：
比如AB，那么A的列就必须和B的行数相同。
举一个特殊的例子：
“1 by n” multiples “n by 1”，得到的结果是一个”1 by 1”的矩阵，其实也就是一个数啦，这就叫做点积。
那么对于一般形式的AB来说，算出来的矩阵的每个元素，都可以看作是一个点积：
The entry in row i and column j of AB is (row i of A)$\cdot$(column of j)

这里还要举一个特殊的例子：
“n by 1” multiples “1 by n”，得到”n by n”的矩阵，这种列向量和行向量之间的矩阵乘法叫做外积，上面提到的点积我们也叫内积。

（1）the laws for matrix operations
…
（2）block matrices and block multiplication
…

2.5 inverse matrices

definition: the matrix A is invertible if there exists a matrix $A^{-1}$ such that

$$A^{-1}A=I \ and \ AA^{-1}=I$$

想一想，为什么要搞个逆矩阵这种概念呢?
因为比如我们解方程组的时候，$Ax=b$（前提A是一个方阵），如果在两边都乘上一个矩阵B，满足$AB=I$，那么等式就变成了$Ix=Bb$，因为$Ix=x$，要是已知B，然后和b相乘，x就求出来了？！所以现在问题就转移到，这个B长什么样？
因为$AB=I$，所以我们给这个B下了个定义，取个名字叫做逆矩阵。

（1）the inverse of a product AB

$$(AB)^{-1} = B^{-1}A^{-1}$$

（2）calculating $A^{-1}$ by Gauss-Jordan elimination

以3 by 3 的矩阵作为例子：

$$A = \begin{bmatrix} 2&-1&0 \\-1&2&-1 \\0&-1&2 \end{bmatrix}$$

构造一个增广矩阵$\begin{bmatrix}A&I\end{bmatrix}=\begin{bmatrix}2&-1&0&1&0&0 \\-1&2&-1&0&1&0 \\0&-1&2&0&0&1 \end{bmatrix}$
接着，开始进行行变换，使得增广矩阵左半边的$A$变成$I$，我们在2.3讲到，其实行变换消元的过程可以用矩阵乘法来表示，那么想一想，我们究竟用了一个什么矩阵使得$A$变成了$I$？
对了，就是$A^{-1}$，当：$A \rightarrow I$，$I \rightarrow A^{-1}$

也就是:
Gauss-Jordan : Multiply $\begin{bmatrix}A&I\end{bmatrix}$ by $A^{-1}$ to get $\begin{bmatrix}I&A^{-1}\end{bmatrix}$
对于上述的例子，最终变为：
$\begin{bmatrix}I&A^{-1}\end{bmatrix}=\begin{bmatrix}1&0&0&\frac34&\frac12&\frac14 \\0&1&0&\frac12&1&\frac12 \\0&0&1&\frac14&\frac12&\frac34 \end{bmatrix}$

（3）singular versus invertible

什么样的矩阵有逆矩阵？
$A^{-1}$ exists when A has a full set of n pivots.