好, 本节我们接着上一节的话题 L U LU LU 分解。上一节中,我们的结论是,一类不需要row exchange的满秩矩阵是可以进行 L U LU LU 分解分解的,这一节,我们将研究另一类需要行变换的矩阵
permutation matrix
在进入正题之前,我们先讨论一类特殊的矩阵permutation matrix。这一类矩阵是由单位仅经过row exchange得到的矩阵,比如size是3的单位阵
I
3
I_3
I3 经过行变换后会得到以下6个矩阵:
[
1
0
0
0
1
0
0
0
1
]
[
1
0
0
0
0
1
0
1
0
]
\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0 \\ \end{bmatrix}
⎣⎡100010001⎦⎤⎣⎡100001010⎦⎤
[ 0 1 0 1 0 0 0 0 1 ] [ 0 0 1 1 0 0 0 1 0 ] \begin{bmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} 0 & 0 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \\ \end{bmatrix} ⎣⎡010100001⎦⎤⎣⎡010001100⎦⎤
[ 0 0 1 0 1 0 1 0 0 ] [ 0 1 0 0 0 1 1 0 0 ] \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \\ \end{bmatrix} \begin{bmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \\ \end{bmatrix} ⎣⎡001010100⎦⎤⎣⎡001100010⎦⎤
总的来说,对于size为 n n n的单位阵 I n I_n In, 我们可以通过行变换得到 n ! n\,! n! 种permutation matrix. 注意,对于任一个permutation matrix P P P
- P P P左乘矩阵 A A A 的作用是把矩阵 A A A 的行重新排列;
- P P P右乘矩阵 A A A 的作用是把矩阵 A A A 的列重新排列;
- P ⊤ = P − 1 P^\top=P^{-1} P⊤=P−1, i.e., P ⊤ P = I P^\top P=I P⊤P=I.
以上三个结论应该都很好理解。
P L U PLU PLU分解
好,现在我们可以研究需要row exchange的矩阵的分解了。其实答案已经呼之欲出了:任意一个满秩矩阵都能写成以下形式
A
=
P
L
U
A=PLU
A=PLU
这其实很简单,因为在上节课的基础上,我们首先对
A
A
A进行row exchange从而保证在分解过程中没有一个pivot是0,那么
P
A
=
L
U
PA=LU
PA=LU
成立。由于permutation matrix P P P的逆仍然是一个permutation matrix,我们便可以把 A A A 写为 A = P L U A=PLU A=PLU 的形式了。
symmetric matrix
这里Prof. Strang 讲了一下symmetric matrix和转置。实际上这些基础很容易理解对吧,大概归纳一下就是
- 矩阵转置就是 A i j ⊤ = A j i A_{ij}^\top=A_{ji} Aij⊤=Aji,
- 矩阵对称就是 A ⊤ = A A^\top=A A⊤=A,
- A ⊤ A A^\top A A⊤A 永远是对称的 (不信做个转置看看)。
Vector space
好,从现在开始我们进入第三章vector space,这也是linear algebra核心内容了。
首先,我们先看什么是vector space。我们就不写正式的定义了,直观上理解,一个简单的vector space就是所有 n n n维实向量组成的space – R n \mathbb{R}^n Rn,注意
- vector space 对线性组合 (加,数乘) 封闭;
- vector space 一定包含零向量。
但是我们对 R n \mathbb{R}^n Rn 没那么大兴趣,因为他太简单了就是所有向量的集合。我们更关心的是 R n \mathbb{R}^n Rn中的subspace。
考虑 R 3 \mathbb{R}^3 R3,它其中的subspace有以下几种可能:
- R 3 \mathbb{R}^3 R3 itself。
- 任一个经过原点的平面.
- 任一条经过原点的直线。
- 原点自己。
好,最后我们来看一下矩阵的列张成的子空间, i.e., the column space.
随便写一个矩阵
[
3
1
6
2
1
4
1
1
2
]
\begin{bmatrix} 3 & 1 & 6\\ 2 & 1 & 4 \\ 1 & 1 & 2 \\ \end{bmatrix}
⎣⎡321111642⎦⎤
好,这个矩阵有三行三列,如果我们单独看每一列,他们每一列都是一个 R 3 \mathbb{R}^3 R3 的向量。我们想看一下,由矩阵的列进行linear combination张成的子空间长什么样子尼?
- 如果这个矩阵每一列都线性无关,那他能张成整个 R 3 \mathbb{R}^3 R3 ;
- 如果有两列是线性相关的,那他能张成一个 R 3 \mathbb{R}^3 R3 中的平面;
- 如果有三列均线性相关,那他只能张成一个 R 3 \mathbb{R}^3 R3 中的直线;
- 如果矩阵全0,那他就只能是圆点。
理解以上几句话非常重要,这将帮助你理解后面的内容。