【线性代数的本质】
“线性代数的本质”是3blue1brown的视频,看了之后可以对线性代数有更多直观的理解。
序言
几何上的理解能让你判断出解决特定问题需要用什么样的工具,感受到他们为什么有用,以及如何解读最终结果,数值上的理解则能让你顺利应用这些工具。
矩阵与线性变换
矩阵的列向量可以看作是原空间的基向量经过变换后的形式。
矩阵的秩表示变换后列空间的维数。
上图中
非方阵
如果是非方阵例如3×2的矩阵M,那么原始空间的维度是2,经过该矩阵M表示的线性变换后,变为3维空间的一个平面,和原来的2维空间不在一个平面上了。所以这个矩阵的线性变换可以把2维空间变换到3维空间。
矩阵乘法
矩阵乘法相当于复合线性变换。
矩阵变换满足结合律,不满足交换律。
行列式
行列式表示矩阵代表的线性变换导致空间某个面积(或体积)的缩放比例。
逆矩阵/列空间/零空间
设线性方程组:
如果 det(A)≠0 d e t ( A ) ≠ 0 ,表示线性变换没有将空间挤压为体积为0(降维)。这时,可以通过做相反的变换 A−1 A − 1 由 v⃗ v → 得到 x⃗ x → .
如果 det(A)=0 d e t ( A ) = 0 ,表示线性变换将空间压缩到更低维度上。这时逆变换不存在, A−1 A − 1 不存在。但是解仍然可能存在,比如空间恰好压缩到 v⃗ v → 这条线上。
线性变换后的空间是矩阵的列空间。如果一个三维空间变换为一条线,则有一个平面被压缩为零向量,这个平面中向量构成零空间。
点积与对偶性
多维空间的一个向量可以看作多维空间到数轴的变换。这个向量称为变换的对偶向量。
向量的点积可以看作由多维空间到数轴的变换。
叉积
二维空间的叉积:
v⃗ ×w⃗ =det([v⃗ w⃗ ])
v
→
×
w
→
=
d
e
t
(
[
v
→
w
→
]
)
数值就是两个向量围成的平行四边形的面积。
三维空间的叉积:
- 根据 v⃗ v → 和 w⃗ w → 定义一个三维到一维的线性变换
- 找到该变换的对偶向量
- 说明这个对偶向量就是
v⃗ ×w⃗
v
→
×
w
→
上图中的 f(⎡⎣⎢⎢xyz⎤⎦⎥⎥) f ( [ x y z ] ) 就是一个三维到一维的线性变换,它表示由 ⎡⎣⎢⎢xyz⎤⎦⎥⎥ [ x y z ] 和 v⃗ v → 、 w⃗ w → 围起来的平行六面体的体积。
可以说明存在一个向量 p⃗ p → 对应于线性变换 f(⎡⎣⎢⎢xyz⎤⎦⎥⎥) f ( [ x y z ] ) , p⃗ p → 就是线性变换的对偶向量,而且可以通过 p⃗ =v⃗ ×w⃗ p → = v → × w → 计算得到 p⃗ p → .
基变换
如果
M
M
是我们可见的空间的变换,而表示从小明的角度转换到我们的空间的基变换矩阵,那么
A−1MA
A
−
1
M
A
就是M矩阵对应的变换在小明空间的对应形式。
假如小明空间的向量
v⃗
v
→
,它进行
A−1MA
A
−
1
M
A
变换后,按照从右到左的顺序理解。
Av⃗
A
v
→
将向量
v⃗
v
→
变换到我们所见的空间的坐标形式,然后
MAv⃗
M
A
v
→
将
Av⃗
A
v
→
做
M
M
矩阵对应的变换。然后将我们所见空间的向量
MAv⃗
M
A
v
→
变换为小明空间的坐标形式。
所以
A−1MA
A
−
1
M
A
表示
M
M
矩阵对应的变换在小明空间的矩阵。
特征向量与特征值
何为特征向量和特征值
矩阵的特征向量
v⃗
v
→
是经过
M
M
对应的线性变换,依旧在原来直线(该向量张成的空间)上的向量。该特征向量对应的特征值可以认为是经过线性变换,
v⃗
v
→
的放缩比例。
如何求解特征向量:
如果
det(A−λI)≠0
d
e
t
(
A
−
λ
I
)
≠
0
,则
v⃗
v
→
有且只有一个是零向量。只有当
det(A−λI)=0
d
e
t
(
A
−
λ
I
)
=
0
时,可以有非零解。
基向量是特征向量:
一组同样是特征向量的基向量构成的集合被称为一组特征基。
在这组特征基对应的坐标系中原矩阵的变换对应的是对角矩阵。
抽象向量空间
线性变换的严格定义:
求导也是线性运算。
轻松理解SVD
数值上的理解:
所以 U,V U , V 分别是 MMH M M H 和 MHM M H M 的特征向量组成的矩阵。(可以结合特征基理解)
几何上的理解:
酉矩阵代表旋转变换,对角矩阵代表缩放变换。(谈谈矩阵SVD分解)
那么SVD分解相当于把矩阵
M
M
分解为一个旋转变换,然后再缩放变换,然后再旋转变换。如果我们只关注矩阵代表的每个特征强度,只需要关心缩放变换对应的矩阵的元素大小即可。