MIT 线性代数 Linear Algebra 5: Permutation matrix and column space of matrix

好， 本节我们接着上一节的话题 $LU$ 分解。上一节中，我们的结论是，一类不需要row exchange的满秩矩阵是可以进行$LU$ 分解分解的，这一节，我们将研究另一类需要行变换的矩阵

permutation matrix

在进入正题之前，我们先讨论一类特殊的矩阵permutation matrix。这一类矩阵是由单位仅经过row exchange得到的矩阵，比如size是3的单位阵 $I_3$ 经过行变换后会得到以下6个矩阵：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right]$$

$$\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]$$

$$\left[\begin{array}{ccc}0& 0& 1\\ 0& 1& 0\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]$$

总的来说，对于size为$n$的单位阵 $I_n$， 我们可以通过行变换得到 $n!$ 种permutation matrix. 注意，对于任一个permutation matrix $P$

1. $P$左乘矩阵 $A$ 的作用是把矩阵 $A$ 的行重新排列;
2. $P$右乘矩阵 $A$ 的作用是把矩阵 $A$ 的列重新排列;
3. $P^{\top }=P^{-1}$, i.e., $P^{\top }P=I$.

以上三个结论应该都很好理解。

$PLU$分解

好，现在我们可以研究需要row exchange的矩阵的分解了。其实答案已经呼之欲出了：任意一个满秩矩阵都能写成以下形式
$$A=PLU$$

这其实很简单，因为在上节课的基础上，我们首先对$A$进行row exchange从而保证在分解过程中没有一个pivot是0，那么
$$PA=LU$$

成立。由于permutation matrix $P$的逆仍然是一个permutation matrix，我们便可以把 $A$ 写为 $A=PLU$ 的形式了。

symmetric matrix

这里Prof. Strang 讲了一下symmetric matrix和转置。实际上这些基础很容易理解对吧，大概归纳一下就是

1. 矩阵转置就是 $A_{ij}^{\top }=A_{ji}$,
2. 矩阵对称就是 $A^{\top }=A$,
3. $A^{\top }A$ 永远是对称的 (不信做个转置看看)。

Vector space

好，从现在开始我们进入第三章vector space，这也是linear algebra核心内容了。

首先，我们先看什么是vector space。我们就不写正式的定义了，直观上理解，一个简单的vector space就是所有$n$维实向量组成的space – ${\mathbb{R}}^n$，注意

1. vector space 对线性组合 (加，数乘) 封闭；
2. vector space 一定包含零向量。

但是我们对 ${\mathbb{R}}^n$ 没那么大兴趣，因为他太简单了就是所有向量的集合。我们更关心的是${\mathbb{R}}^n$中的subspace。

考虑 ${\mathbb{R}}^3$，它其中的subspace有以下几种可能：

1. ${\mathbb{R}}^3$ itself。
2. 任一个经过原点的平面.
3. 任一条经过原点的直线。
4. 原点自己。

好，最后我们来看一下矩阵的列张成的子空间， i.e., the column space.

随便写一个矩阵
$$\left[\begin{array}{ccc}3& 1& 6\\ 2& 1& 4\\ 1& 1& 2\end{array}\right]$$

好，这个矩阵有三行三列，如果我们单独看每一列，他们每一列都是一个 ${\mathbb{R}}^3$ 的向量。我们想看一下，由矩阵的列进行linear combination张成的子空间长什么样子尼？

1. 如果这个矩阵每一列都线性无关，那他能张成整个${\mathbb{R}}^3$ ；
2. 如果有两列是线性相关的，那他能张成一个${\mathbb{R}}^3$ 中的平面；
3. 如果有三列均线性相关，那他只能张成一个${\mathbb{R}}^3$ 中的直线；
4. 如果矩阵全0，那他就只能是圆点。

理解以上几句话非常重要，这将帮助你理解后面的内容。