【线性代数的本质】笔记

【线性代数的本质】

“线性代数的本质”是3blue1brown的视频，看了之后可以对线性代数有更多直观的理解。

---

序言

几何上的理解能让你判断出解决特定问题需要用什么样的工具，感受到他们为什么有用，以及如何解读最终结果，数值上的理解则能让你顺利应用这些工具。

---

矩阵与线性变换

矩阵的列向量可以看作是原空间的基向量经过变换后的形式。
矩阵的秩表示变换后列空间的维数。

上图中

$$\begin{bmatrix} a \\ c\end{bmatrix}$$ 就是变换后x轴的基向量，而 $$\begin{bmatrix} b \\ d \end{bmatrix}$$ 就是变换后y轴的基向量。那么原始空间的向量 $$\begin{bmatrix} x \\ y \end{bmatrix}$$ 在变换后的空间就是 $x\begin{bmatrix}a \\ c \end{bmatrix}+y\begin{bmatrix}b \\ d \end{bmatrix}$

非方阵

如果是非方阵例如3×2的矩阵M，那么原始空间的维度是2，经过该矩阵M表示的线性变换后，变为3维空间的一个平面，和原来的2维空间不在一个平面上了。所以这个矩阵的线性变换可以把2维空间变换到3维空间。

矩阵乘法

矩阵乘法相当于复合线性变换。
矩阵变换满足结合律，不满足交换律。

---

行列式

行列式表示矩阵代表的线性变换导致空间某个面积(或体积)的缩放比例。

---

逆矩阵/列空间/零空间

设线性方程组：

$$A\vec x=\vec v$$
如果 $det(A) \neq 0$，表示线性变换没有将空间挤压为体积为0（降维）。这时，可以通过做相反的变换 $A^{-1}$由 $\vec v$得到 $\vec x$.
如果 $det(A) = 0$，表示线性变换将空间压缩到更低维度上。这时逆变换不存在， $A^{-1}$不存在。但是解仍然可能存在，比如空间恰好压缩到 $\vec v$这条线上。
线性变换后的空间是矩阵的列空间。如果一个三维空间变换为一条线，则有一个平面被压缩为零向量，这个平面中向量构成零空间。

---

点积与对偶性

多维空间的一个向量可以看作多维空间到数轴的变换。这个向量称为变换的对偶向量。
向量的点积可以看作由多维空间到数轴的变换。

---

叉积

二维空间的叉积：

$\vec v \times \vec w = det(\begin{bmatrix} \vec v \ \vec w \end{bmatrix})$
数值就是两个向量围成的平行四边形的面积。

三维空间的叉积：

1. 根据$\vec v$和$\vec w$定义一个三维到一维的线性变换
2. 找到该变换的对偶向量
3. 说明这个对偶向量就是$\vec v \times \vec w$
   
   上图中的$f(\begin{bmatrix} x \\ y \\ z \end{bmatrix})$就是一个三维到一维的线性变换，它表示由$\begin{bmatrix} x \\ y \\ z \end{bmatrix}$和$\vec v$、$\vec w$围起来的平行六面体的体积。
   
   可以说明存在一个向量$\vec p$对应于线性变换$f(\begin{bmatrix} x \\ y \\ z \end{bmatrix})$，$\vec p$就是线性变换的对偶向量，而且可以通过$\vec p = \vec v \times \vec w$计算得到$\vec p$.

---

基变换

如果$M$是我们可见的空间的变换，而$A$表示从小明的角度转换到我们的空间的基变换矩阵，那么$A^{-1}MA$就是M矩阵对应的变换在小明空间的对应形式。
假如小明空间的向量$\vec v$，它进行$A^{-1}MA$变换后，按照从右到左的顺序理解。$A\vec v$将向量$\vec v$变换到我们所见的空间的坐标形式，然后$MA\vec v$将$A\vec v$做$M$矩阵对应的变换。然后$A^{-1}$将我们所见空间的向量$MA\vec v$变换为小明空间的坐标形式。
所以$A^{-1}MA$表示$M$矩阵对应的变换在小明空间的矩阵。

---

特征向量与特征值

何为特征向量和特征值

矩阵$M$的特征向量$\vec v$是经过$M$对应的线性变换，依旧在原来直线(该向量张成的空间)上的向量。该特征向量对应的特征值可以认为是经过$M$线性变换，$\vec v$的放缩比例。

如何求解特征向量：

如果$det(A-\lambda I) \neq 0$，则$\vec v$有且只有一个是零向量。只有当$det(A - \lambda I) = 0$时，可以有非零解。

基向量是特征向量：

一组同样是特征向量的基向量构成的集合被称为一组特征基。
在这组特征基对应的坐标系中原矩阵的变换对应的是对角矩阵。

---

抽象向量空间

线性变换的严格定义：

求导也是线性运算。

---

轻松理解SVD

参考谈谈矩阵SVD分解

$$M = U \Sigma V^H$$ 其中 $M$是要做SVD分解的矩阵，$U,V$是酉矩阵， $V^H$表示V的转置共轭矩阵, $\Sigma$是非负实数的对角矩阵。

数值上的理解：

$$MM^H = U\Sigma V^HV\Sigma ^HU^H = U \Sigma \Sigma ^H U^H$$
$$M^HM = V\Sigma ^HU^HU\Sigma V^H = V \Sigma^H \Sigma V^H$$
所以 $U, V$分别是 $MM^H$和 $M^HM$的特征向量组成的矩阵。（可以结合特征基理解）

几何上的理解：

酉矩阵代表旋转变换，对角矩阵代表缩放变换。(谈谈矩阵SVD分解)
那么SVD分解相当于把矩阵$M$分解为一个旋转变换，然后再缩放变换，然后再旋转变换。如果我们只关注矩阵代表的每个特征强度，只需要关心缩放变换对应的矩阵$\Sigma$的元素大小即可。