3Blue1Brown 线性代数的本质 笔记

视频

https://www.bilibili.com/video/BV1ys411472E

向量

向量可以视为空间中的点

也可以视为放缩的基向量的组合

矩阵与线性变换

把空间视为基向量张成的空间

把矩阵 AB 相乘视为矩阵 A 与 B 中一个个列向量 b 相乘

而矩阵 A 和列向量 b 相乘时，可以视为矩阵 A 的列向量与 b 中的元素相乘再相加

也是因为 Ax = A(xi + yj)

所以 Ax 可以视为 A 对 xi 做线性变换，对 yj 做线性变换

这里的说法是，将矩阵的列向量其实就是线性变换之后单位向量的位置

例如旋转矩阵

[0 -1]
[1 0]

就是旋转逆时针旋转 90 度之后 i 帽和 j 帽的位置

线性变换是要求变换过程中原点不移动的

线性表示空间中的平行等间隔直线变换之后仍然是平行等间隔直线

例如画一条对角线，然后靠近原点的空间横向压缩程度大，远离原点得空间横向压缩程度小，那么原来的平行等间隔的竖直直线经过变换之后不是等间隔的了，原来的对角线现在会变成曲线，这就不是线性变换

那么 (AB)C = A(BC) 就容易证明

直觉是，不管怎么样，对基向量张成的空间的变换都是从右到左，不管是先算 C 后算 (AB) 还是先算 (BC) 后算 A，结果都是依次算 C B A，所以结果是一样的

行列式

行列式是单位正方形面积缩放的比例

这是在二维空间中的想法，在三维中就是单位立方体体积缩放的比例，在高维中应该是单位超立方体体积缩放的比例？

行列式等于 0 说明面积缩放到 0 其实也就暗合了变换后的基向量不是线性无关的，使得维度降低了，原来的面积（体积）定义下就是一条线（面）（低维物体）（丢失了原来的高维的属性了）

行列式为负，表示经过线性变换之后，对于平面来看是平面翻面，对于空间来说就是空间定向发生了变化（例如左手系变成右手系）

行列式的副对角元素乘积项表示了单位正方形面积沿着对角线伸缩的程序

两个矩阵相乘得到的矩阵的行列式，等于原来两个矩阵的行列式的乘积

要证明它，从直觉上来说，就是因为矩阵是对单位立方体面积的变换，相当于对单位立方体的体积乘以了行列式的值，而乘法是可以线性叠加的

逆矩阵、列空间与零空间

因为把线性变换（矩阵）看成是对基向量张成的空间的变换，所以矩阵的逆就是原矩阵对基向量张成的空间的变换的逆变换

因为某个矩阵行列式等于 0 的时候，相当于把空间降维了，而假设你现在有一个被降维了之后的空间，你不能再把它解压到高维了，也就是你找不出一个逆变换了（例如二维平面被压成一条线，现在你只有一条线，现在要求你从一条线输出两个线性无关的二维向量，这是一对多的情况，这已经不是函数能解决的了），所以矩阵的行列式为 0 的时候，没有逆矩阵

线性方程组可以转化为 Ax = b，其实就是 x 所在的空间 1 经过 A 的变换之后，位于变换后的空间中的 Ax 能够与空间 1 中的 b 重合

A 的行列式为 0 的时候解也可能存在，例如二维空间被压成了一条线，Ax 就是被压成的线，结果 Ax 恰好和 b 重合，三维空间也是如此

对于 Ax，如果 x 经过 A 的变换之后，只能落在一条线上，那么称为 A 的秩为 1，如果 x 经过 A 的变换后，只能落在一个平面上，那么称为 A 的秩为 2……以此类推

Ax 所有可能输出的集合被称为矩阵 A 的列空间 column space

这是因为我们可以把矩阵 AB 相乘视为矩阵 A 与 B 中一个个列向量 b 相乘，而矩阵 A 和列向量 b 相乘时，可以视为矩阵 A 的列向量与 b 中的元素相乘再相加

所以其实 A 的列向量就表示了基向量变换后的位置，这些变换后的基向量张成的空间就是 Ax 所有可能输出的结果

所以更精确的定义是，矩阵的秩是矩阵的列空间的维数

当秩达到最大时，矩阵的秩数等于矩阵的列数，称为满秩

零向量一定会包含在列空间内

对于一个满秩变换来说，变换之后能够落到自身的只有零向量

但是对于一个非满秩变换来说，它将空间压缩到一个更低的维度，也就说明会有一系列的非零向量经过变换之后会被压缩成零向量

以二维平面来举例，如果沿着 x 轴压缩，那么 x 轴方向的一系列向量就会被压缩成零向量，如果沿着对角线压缩，那么对角线方向的一系列向量就会被压缩成零向量

以三维空间来举例，如果压缩到二维空间，那么就会有一条直线上的向量压缩到零向量；如果压缩到一条直线，那么就会有一个平面上的向量压缩到零向量

（感觉本质上就是，压缩掉哪 n 个维度，其实就是去掉了哪 n 个基向量，那么这些被去掉的 n 个基向量张成的空间被压没了，原来位于这 n 个基向量的向量现在自然被压成了零向量）

这个现象可以用来解释为什么系数矩阵满秩的齐次方程只有 0 解，系数矩阵非满秩的齐次方程有无穷解

经过矩阵 A 变换后落在原点的向量的集合，称为矩阵 A 的零空间或者核

（也就是我之前说的被去掉的那 n 个基向量张成的空间）

非方阵

对于非方阵，非方阵为什么没有行列式？

例如一个 32 的列满秩的矩阵，稍微写一下就知道，这个矩阵可以将一个 21 的向量变为 3 * 1 的向量，实际上是将一个二维空间中的向量转换到了一个完全无关的三维空间中的一个平面上的向量

也可以用我们之前提到了列空间来理解，这个 3 * 2 的矩阵的列空间就是两个三维列向量组成的空间，也就是三维空间的一个平面，也就是说 Ax 的所有结果就是三维空间中的一个平面

这样来看，其实你就知道，原来的平面（立方体）的面积（体积）已经变成另外一个维度下的体积，这两个体积属性是不同维度的，完全没有可比性，所以缩放比例这个东西是没有意义的，所以就没有行列式了

类似的，一个 2*3 的列满秩的矩阵表示将一个三维向量变换到二维空间，自然也没有体积缩放的意义，自然也没有行列式

点积

一开始学点积，都是学点积的直接计算和投影计算，虽然计算方法很简单，但是它的顺序无关的性质令人惊讶

也就是说，计算 a·b 时，你可以将 a 投影到 b 上，也可以将 a 投影到 b 上，这两个看上去像是两个无关的过程，最后却会得到一样的结果

如果两个向量关于某一个对称轴对称，那么将 a 投影到 b 上，也可以将 a 投影到 b 上很明显是相等的

如果在原来的对称的基础上缩放其中一个向量，使得这两个向量之间的不对称

那么既可以理解为 w 投射到 2v 上，也可以理解为 v 投射到 w 上然后乘以 2 倍

说实话这里我是有点不明白为什么要提这个

一个 2 * 1 的矩阵乘以 1 * 2 的向量得到一个数，这就是向量点乘的过程

一开始看的话，那我们只能知道把数横着放就是矩阵，竖着放就是向量

但是这说明了将向量转化为数的线性变换和这个向量本身有着某种关系

假设空间中有一个轴，定义一个变换，这个变换是二维平面中任何点都投影到这个轴上

投影的结果是这个轴上的某一个标量

那么我们只需要看变换后 i 帽和 j 帽在这个轴的什么地方，我们就知道了二维平面上任何一点变换后在这个轴的什么地方

使用对称性，可以得到，i 帽投影到这个轴上的长度，等于这个轴的方向 u 帽投影到 i 帽上的长度

那么其实投影矩阵就是 [ux, uy]

那么其实 [ux, uy] 乘以空间中任意向量，相当于空间中的向量投影到 (ux, uy) 方向的坐标轴直线上的长度

如果投影矩阵不是一个单位向量呢？那么就相当于这个投影矩阵是他所在的方向的单位向量的 n 倍而已

那么其实非单位的投影矩阵乘以空间中任意一个向量，得到的结果是空间中的这个向量在投影矩阵单位向量所决定的直线的坐标轴上的投影再乘以投影矩阵缩放单位向量的倍数

所以看到一个 n 维向量到一维标量的线性变换，应用变换和与这个向量做点积是一样的

这就是对偶性

以上总结来说

一个向量的对偶是由它定义的线性变换；反过来，一个多维空间到一维空间的线性变换的对偶是多维空间中的某个特定向量。

也就是可以不把向量看成箭头或者中间中的点，而是把它看成线性变换的物质载体

叉积

广为人知的物理意义是参与叉积的两个向量组成的平行四边形的面积，两个向量的位置决定正负

要计算这个平行四边形的面积，其实就是跟行列式的表示单位正方形面积缩放比例的这个物理意义有关

所以对于二维叉乘，得到的面积就是两个向量组成的矩阵的行列式

而对于三维叉乘，面积照样算，用右手得到新向量的朝向之后，算出来的面积就是新向量对单位向量的缩放比例

如果还要从行列式来理解的话，叉乘的公式为：

一般教科书会把这个矩阵转置，但是实际上写成列向量的形式会继承前面的二维的情况，更容易理解

1.已知叉乘是将 3 维转化为 1 维的线性变换

（直觉上，3 维叉乘得到的结果是一个 3 维向量？但是这里说的是，向量结果的方向是已知的，我们算的是那个面积）

2.那么根据前面的说法，线性变换会有一个对偶向量

3.这个对偶向量就是 v 叉乘 w

由二维叉乘得到的自然的外推的想法是，三维叉乘就是三个列向量排成的矩阵的行列式

虽然我们知道这不是真正的三维叉乘，但是思想是这样

现在将这其中一个向量换掉，那么就相当于我有了一个关于 (x,y,z) 的函数

这个函数是线性的，因为行列式是线性可加的

一旦知道了这个是线性的，那么就可以根据对偶性，将这个函数写成线性变换的形式

并且也可以写成点积的形式：

那么待定系数，其中 x y z 都是任意可变的，所以得到传统的叉乘计算公式

从几何的角度来看，p 与 (x,y,z) 的点积，等于 (x,y,z) 和 v,w 组成的平行六面体的有向体积，什么样的 p 可以满足这样的性质？

因为 p 与 (x,y,z) 的点积相当于 (x,y,z) 投影到 p 上的长度与 p 的长度相乘，而 (x,y,z) 和 v,w 组成的平行六面体的有向体积相当于 (x,y,z) 投影到 v,w 组成的平面的法向量上的长度与 v,w 组成的平面的面积相乘

因此 p 是 v,w 组成的平面的法向量，并且长度等于 v,w 组成的平面的面积，并且方向是 v,w 顺序决定

基变换

把线性变换看成是对基向量张成的空间的变换

为什么能这么看，因为之间我们不是把向量视为放缩的基向量的组合了嘛

那就是 Ax = A(xi + yj)

然后其实 Ai Aj 就是对 i j 这两个基向量做变换，x y 作为标量只是表示对基向量的缩放

所以 Ax 可以视为 A 对 x 基向量张成的空间的变换

这和之前的线性变换不同

之前的线性变换，Ax = A(xi + yj) 得到的结果是 x’ i + y’ j，仍然用 i 和 j 的基向量

而这里的基变换，变换的是基底而不是 x 和 y 的标量，x 和 y 在基变换前后是不变的

同理，A 的逆就是 A 表示的基变换的逆

那么我们怎么把一个坐标系下的矩阵转化为另一个坐标系下的矩阵？

因为其实我们知道，一个矩阵就是一个线性变换

所以我们看 M 矩阵，如果直接算 Mv，那么就是在 v 的坐标系下做 M 的线性变换

现在我们认为 v 是在新坐标下，那么要使用 M，首先要把 v 转换到旧坐标系，记 A 表示对基向量进行线性变换的矩阵，得到 Av

Av 在旧坐标系下，然后 MAv 就是在旧坐标系下对 Av 做 M 的变换，然后得到的在旧坐标系下的结果要转换到新坐标系下，所以还要乘一个 A^(-1)

所以 A^(-1)MA 就是 M 在新坐标系下的表示

所以这个 A^(-1)MA 的形式在数学上就代表了一种坐标系上的转移

基变换的矩阵怎么构成呢？

就由新基的列向量构成，与旧基一乘就知道了

特征向量与特征值

考虑某个向量张成的空间，也就是过原点和向量尖端的直线

在经过线性变换之后，某些向量会离开他原来所在的空间

有些变量恰巧不会。这意味着线性变换对它的影响只是拉伸或者压缩

特征向量就是那些不会受影响的向量的方向，在那个方向上拉伸或者压缩的大小就是这个特征向量对应的特征值

假设我们找一个旋转矩阵的特征向量，特征向量就是这个旋转矩阵的旋转轴，并且特征值必须是 1，因为旋转不缩放向量

现在看到这个式子 Av = λv 对应到这个物理意义就很清楚了

同时我们知道 (A-λI)v = 0 是用于求解 λ 的

从物理意义上理解 (A-λI)v = 0，λ 的解存在意味着 (A-λI) 作为一个线性变换会将二维平面压缩到一个直线上

v 就是与这条直线垂直的方向上的向量的集合

三维中……总之 v 就是降维的那个方向上的向量的集合

对于某些旋转矩阵，例如

[0 -1]
[1 0]

他是没有特征向量和特征值的，因为所有向量都旋转了

如果硬要计算他的特征值，那么会得到虚数

这也说明了 90 度旋转与 i 这个二维实向量旋转变换的特征值有所关联，也就是说特征值出现复数对应于变换中的某种旋转

属于单个特征值的特征向量可以不止在一条直线上

这很容易理解，因为本质上表征变换的是特征向量的方向，特征值只是表示压缩拉伸的程度

对角矩阵的特征向量是基向量，特征值是对角元素，很容易理解

这就使得对角矩阵的幂容易计算，因为毕竟它本身某个对角元素就表示着在这个基向量上拉伸压缩多少倍，那么对角矩阵的幂就是每个对角元素都取幂，表示在这个基向量上拉伸压缩的倍数的幂

如果某个矩阵 A 的特征向量足够多，足够多到能够张成全空间

那么你就可以变换你的坐标系，使得这些特征向量就是基向量

所以这些特征向量排成的矩阵就是基变换的矩阵

假设矩阵 A 的特征向量排成的矩阵为 P，那么根据上一节基变换的知识，自然 P^(-1)AP 是将 A 的基向量转换为了特征向量，那得到的结果从物理上来说就是在基向量上压缩拉伸，那么其实就是对角阵

不是所有的矩阵都可以转换到特征向量作为基向量的空间

例如剪切矩阵，基向量不够多，之类

他莫不是想说特征值是 (1-sqrt(5))/2 和 (1+sqrt(5))/2

然后其中一个是黄金比例？

抽象向量空间

行列式和特征向量与所选的坐标系无关

因为行列式是对面积的缩放的比例，而特征向量会一直待在它们各自与原点张成的空间上

把函数看成有无穷个元素的向量

函数相加，函数数乘，线性变换，都和线性代数一样

线性的定义：

对于全体多项式组成的空间，可以取 1 x x^2 x^3 … 作为基函数

我们知道求导也是线性运算，那么求导也可以用矩阵来表示

这里的求导矩阵的每一列就是对基函数的求导

只要你处理的对象集具有合理的数乘和相加概念，那么他就是一个向量，线性代数中的概念应该适用于它

只要你定义的向量空间满足一些公理

这些都是确保向量加法和数乘

这些定理是一个媒介，当你定义了一个奇怪的向量空间，你通过验证定理，就可以使用数学家为定理证明好的结论

所以数学家会从这些定理出发证明，这就是教科书为什么会抽象的原因

克拉姆法则 几何解释

现在要解 Ax = b

注意 A 的每一列表示了基向量会怎么变化

要求 x 这取决于 A 代表的变换是否会对空间降维

如果降维，那么要么会有无穷个向量都会变换到 b，要么都不能变换到 b

现在考虑不降维

因为原来的向量中，(x,y) 表示 (x,y) 与基向量的点积分别是 x 和 y

那么如果 Ax 与 A 变换之后的基向量的点积也分别是 x 和 y 就好了

因为 Ax 已知是 v，A 变换之后的基向量就是 A 的列向量

（好吧我不知道为什么要这么想）

实际上不是

对于大部分线性变换来说，点积会随着变换而变换

也就是 v · i 不等于 Av · Ai

因为向量大部分被拉伸，长度，角度都会变化

原来是锐角，点积为正，现在可能被拉成了钝角，点积为负

因此，那些不改变点积的变换称为正交变换

也就是基向量在变换后仍然保持单位长度并且相互垂直

求解正交矩阵 A 的 Ax= b 很方便

因为 A 的列向量就是变换后的基向量，然后 b 就是变换后的基向量的缩放比例，一乘就是原来的坐标系下的坐标

虽然大部分 Ax = b 的计算中 A 不是正交矩阵

但是有没有另一种对输入向量坐标值的几何解释，能在矩阵变换后保持不变呢

以前是把坐标值视为对基向量的放缩比例

还有一种解释坐标值的方式，就是视为其他坐标都为 1 的情况下，向量 v 与其他坐标 1 代表的向量所组成的有向（对应坐标有正有负）面积（体积）

三维的来说，三维的可以写成叉乘的形式

这里把坐标值和面积（体积）联系了起来，为什么呢，因为做矩阵变换时，平行四边形（立方体）的面积（体积）不一定不变

又因为行列式是对面积（体积）的缩放，所以对所有的面积（体积）都是一样的

那也就说明，对于单独某一个坐标表示的面积（体积）也是一样的

那么也就是变换后的 x 表示的面积（体积）= 面积（体积）缩放比例 * 变换前的 x 表示的面积（体积）

也就是 x’ = det(A)x

例如考虑 y，A 的第一个列向量是变换后的第一个基向量，那么变换后的 y 的值是变换后的向量与变换后的第一个基向量组成的面积

其实这个行列式就是由 A 的第一列，然后将 b 作为第二列

也就是所谓的用 b 替换 A 的第二列

这其实就是克拉默法则的分子

然后分母就是 A 的行列式

三维类似