线性代数的本质（三）

5 向量的点积和叉积

5.1 点积

向量的点积运算定义为：
$$\mathbf{v}\cdot \mathbf{w}=\left[\begin{array}{c}a\\ b\end{array}\right]\cdot \left[\begin{array}{c}c\\ d\end{array}\right]=ac+bd$$这种计算在几何上的解释是：向量$\mathbf{v}$在向量$\mathbf{w}$上的正交投影长度，乘以向量$\mathbf{v}$的长度，本质上是先投影再缩放。
两个向量方向相同时结果为正，相反时结果为负，垂直时结果为0。

从线性变换的角度来看，假如有一个线性变换，它将基向量$\mathbf{i}$和$\mathbf{j}$分别变换至$1$，$-2$，则变换矩阵就为$\left[\begin{array}{cc}1& -2\end{array}\right]$。跟踪一个向量，如向量${\left[\begin{array}{cc}4& 3\end{array}\right]}^T$在变换之后的去向，将这个向量分解成$4\mathbf{i}+3\mathbf{j}$，由于线性性质，变换后这个向量的表示仍为$4\mathbf{i}+3\mathbf{j}$（但是要使用变换后的$\mathbf{i}$、$\mathbf{j}$），即$4\times 1+3\times (-2)$。

当完全从数值角度进行计算时，它就是矩阵向量乘法。
点积等同于矩阵向量乘积，变换效果等同于将$n$维向量变换为一维标量，变换矩阵是一个$1\times n$的非方阵。

5.2 投影变换与对偶性

在二维空间中，有一条一维数轴和一个单位向量$\mathbf{u}$恰好落在此数轴上，如果将二维向量直接投影到这一数轴上，便可定义一个从二维到一维数轴的线性变换，叫做投影变换，相应的变换矩阵称为投影矩阵。投影矩阵$\mathbf{P}=\left[\begin{array}{cc}a& b\end{array}\right]$中的$a$和$b$分别是基向量$\mathbf{i}$和$\mathbf{j}$变换到一维空间后对应的数值。


接下来，寻找这个矩阵$\mathbf{P}$。将向量$\mathbf{i}$往向量$\mathbf{u}$所在的直线投影与将向量$\mathbf{u}$往向量$\mathbf{i}$所在的直线（$x$轴）投影看上去完全对称。因此，求向量$\mathbf{i}$在向量$\mathbf{u}$所在直线上的投影的数值，也就是求向量$\mathbf{u}$在$x$轴上的投影的数值，即向量$\mathbf{u}$的横坐标$u_x$。同理，向量$\mathbf{j}$在向量$\mathbf{u}$所在直线上的投影的数值，就是向量$\mathbf{u}$的纵坐标$u_y$。

所以，投影矩阵$\mathbf{P}=\left[\begin{array}{cc}{u}_x& u_y\end{array}\right]$投影变换过程为：
$$\mathbf{Pu}=\left[\begin{array}{cc}{u}_x& u_y\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=u_{x}x+u_{y}y$$而空间中任意向量经过投影变换的结果（即投影矩阵与这个向量相乘）和该向量与向量$\mathbf{u}$的点积在计算上完全相同。

所以，向量与单位向量的点积，就可以理解为向量投影到单位向量所在直线上的投影长度。

若向量$\mathbf{u}$不是单位向量，例如将向量$\mathbf{u}$放大为原来的$3$倍（实际上就是向量$\mathbf{i}$和向量$\mathbf{j}$在投影之后，乘以投影长度的$3$倍），相应的任意向量在投影之后，乘以投影长度的$3$倍，结果就是向量与非单位向量的点积。这就是为什么向量与非单位向量的点积可以理解为首先向非单位向量所在直线上投影，再将投影的值与非单位向量长度相乘。

上述过程是数学中**对偶性(Duality)**的一个实例。对偶性，即两种数学事物之间自然而又出乎意料的对应关系。
一个多维空间到一维空间的线性变换的对偶是多维空间中的某个特定向量。例如，上述将二维空间映射到一维数轴的线性变换，此线性变换都会与二维空间中的向量$\mathbf{u}$相关。
每当有一个从多维空间映射到一维数轴的线性变换，都能在这个多维空间中找到一个向量（称为这个变换的对偶向量）使得应用线性变换和与对偶向量点积等价。

5.3 叉积

两个向量叉积的结果是第三个向量，结果向量垂直于原向量组成的平行四边形，长度等于平行四边形的面积。

首先讨论这个平行四边形的面积（即叉积得到的向量的长度）。前文讲过，行列式的几何意义就是变换前后空间区域被拉伸或放缩的比值，而行列式的正负表明空间定向是否发生变化。

如上图，使基向量$\mathbf{i}$、$\mathbf{j}$发生线性变换，使其变换后落在向量$\mathbf{v}$、$\mathbf{w}$上，变换矩阵就是向量$\mathbf{v}$、$\mathbf{w}$构成的矩阵。由于基向量$\mathbf{i}$、$\mathbf{j}$构成的图形面积是$1$，因此，根据行列式的几何意义，变换后的平行四边形的面积就是行列式值的绝对值。
同时，我们发现，改变基向量$\mathbf{i}$、$\mathbf{j}$的相对位置，行列式的值会改变（因为空间定向发生了变化），因此：
$$\mathbf{v}\times \mathbf{w}\ne \mathbf{w}\times \mathbf{v}$$

对于三维向量，叉积的方向取决于原向量的相对位置，可以用右手定则判断。

对于$\mathbf{v}\times \mathbf{w}$，右手食指指向向量$\mathbf{v}$的方向，伸出中指指向向量$\mathbf{v}$的方向，当竖起大拇指时，拇指指向的就是叉积的方向。当然，这里还有另一种方法，对于$\mathbf{v}\times \mathbf{w}$，把向量$\mathbf{v}$的头指向向量$\mathbf{w}$的尾，右手四指向着$\mathbf{v}$到$\mathbf{w}$的方向弯曲，拇指指向的就是$\mathbf{v}\times \mathbf{w}$的方向。
对于叉积的计算，有下列公式：
$$\left[\begin{array}{c}{v}_1\\ \\ v_2\\ \\ v_3\end{array}\right]\times \left[\begin{array}{c}{w}_1\\ \\ w_2\\ \\ w_3\end{array}\right]=\left[\begin{array}{c}{v}_2\cdot w_3-w_2\cdot v_3\\ \\ v_3\cdot w_1-w_3\cdot v_1\\ \\ v_1\cdot w_2-w_1\cdot v_2\end{array}\right]$$
可以由一个三阶行列式代替，让这种运算记忆起来更加简便：
$$\begin{array}{rl}\mathbf{v}\times \mathbf{w}& =\left[\begin{array}{c}{v}_1\\ \\ v_2\\ \\ v_3\end{array}\right]\times \left[\begin{array}{c}{w}_1\\ \\ w_2\\ \\ w_3\end{array}\right]=\det \left(\left[\begin{array}{ccc}\mathbf{i}& \mathbf{j}& \mathbf{k}\\ & & \\ v_1& v_2& v_3\\ & & \\ w_1& w_2& w_3\end{array}\right]\right)\\ & \\ & =\mathbf{i}\left(v_2{w}_3-v_3{w}_2\right)+\mathbf{j}\left(v_3{w}_1-v_1{w}_3\right)+\mathbf{k}\left(v_1\cdot w_2-v_2{w}_1\right)\end{array}$$
最终得到的就是这三个向量的线性组合。

5.4 叉积的几何意义

两个二维向量构成的平行四边形的面积，就等于这两个向量所构成的矩阵的行列式。而三个三维向量构成的平行六面体的体积，也是等于这三个向量所构成的三阶矩阵的行列式。简单解释就是，这个三阶矩阵将三个基向量构成的体积为$1$的正方体变换成这三个三维向量构成的平行六面体。

现在定义一个函数（变换），对任意输入的向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$，计算这一向量与向量$\mathbf{v}$、$\mathbf{w}$确定的平行六面体体积，并根据定向确定符号:

由于这个变换是线性的，且是从三维到一维的变换，因此必然存在一个$1\times 3$的矩阵来代表这个变换。根据对偶性，可以将这个变换看作是向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$与对偶向量的点乘。于是问题就变成了找一个向量$\mathbf{p}$，使得它与任意向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$的点乘等于$3\times 3$矩阵的行列式，也就是向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$与向量$\mathbf{v}$、$\mathbf{w}$确定的平行六面体的体积。

通过计算发现，对偶向量$\mathbf{p}$就是：
$$\left[\begin{array}{c}{v}_2\cdot w_3-w_2\cdot v_3\\ \\ v_3\cdot w_1-w_3\cdot v_1\\ \\ v_1\cdot w_2-w_1\cdot v_2\end{array}\right]$$
至于平行六面体的体积，首先获得由向量$\mathbf{v}$、$\mathbf{w}$确定的平行四边形的面积，再乘以向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$在垂直于平行四边形方向上的分量。

对于向量$\mathbf{p}$与任意向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$的点积，就是将这个向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$投影到垂直于向量$\mathbf{v}$、$\mathbf{w}$的直线上，然后将投影长度与向量$\mathbf{p}$的长度相乘。

所以，找到了一个向量$\mathbf{p}$，使它与任意向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$的点乘等于$3\times 3$矩阵的行列式，也就是向量${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$与向量$\mathbf{v}$、$\mathbf{w}$确定的平行六面体的体积。因此，前面通过计算得到的向量$$\left[\begin{array}{c}{v}_2\cdot w_3-w_2\cdot v_3\\ \\ v_3\cdot w_1-w_3\cdot v_1\\ \\ v_1\cdot w_2-w_1\cdot v_2\end{array}\right]$$必然在几何上与这个向量对应。对偶向量$\mathbf{p}$就是$\mathbf{v}\times \mathbf{w}$向量，向量$\mathbf{p}$的长度就是平行四边形的面积。而由向量$\mathbf{v}$、$\mathbf{w}$和${\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$确定的平行六面体的体积，就是$$\mathbf{v}\times \mathbf{w}\cdot \left[\begin{array}{c}x\\ y\\ z\end{array}\right]$$因此，向量叉积的几何意义是向量$\mathbf{v}$和$\mathbf{w}$构成的平行四边形的有向面积，而叉积与任意向量的点积就是这三个向量所构成的平行六面体的体积。

5.5 基变换

对于任何一个坐标，都可以把这些数看作是拉伸或压缩向量$\mathbf{i}$、$\mathbf{j}$的标量。对于向量${\left[\begin{array}{cc}3& 2\end{array}\right]}^T$就是将向量$\mathbf{i}$拉伸$3$倍与向量$\mathbf{j}$拉伸$2$倍相加的结果。向量$\mathbf{i}$、$\mathbf{j}$可以看作是封装这个坐标系的隐含假设。发生在向量与一组数之间的变换，被称为坐标系，在此基础上会存在一组基向量，图中的向量$\mathbf{i}$、$\mathbf{j}$称为标准坐标系下的基向量。

在$\mathbf{i}$、$\mathbf{j}$坐标系下，任意向量${\left[\begin{array}{cc}x& y\end{array}\right]}^T$表示的结果就是$x\mathbf{i}+y\mathbf{j}$。假设Jennifer使用着一组不同的基向量${\mathbf{b}}_1$、${\mathbf{b}}_2$，且${\mathbf{b}}_1$、${\mathbf{b}}_2$在$\mathbf{i}$、$\mathbf{j}$坐标系下表示的结果是${\mathbf{b}}_1=\left(2,1\right)$，${\mathbf{b}}_2=\left(-1,1\right)$，因此，在她的坐标系中，任意向量${\left[\begin{array}{cc}x& y\end{array}\right]}^T$都可表示为$x{\mathbf{b}}_1+y{\mathbf{b}}_2$。

例如，在Jennifer坐标系中有一向量${\left[\begin{array}{cc}-1& 2\end{array}\right]}^T$，也就是说这一向量满足$-1\cdot {\mathbf{b}}_1+2\cdot {\mathbf{b}}_2$，将向量${\left[\begin{array}{cc}-1& 2\end{array}\right]}^T$用$\mathbf{i}$、$\mathbf{j}$坐标系表示，就是把向量的第一个坐标$-1$乘以向量${\mathbf{b}}_1$加上第二个坐标$2$乘以向量${\mathbf{b}}_2$得到的结果，即：
$$-1\cdot \left[\begin{array}{c}2\\ \\ 1\end{array}\right]+2\cdot \left[\begin{array}{c}-1\\ \\ 1\end{array}\right]=\left[\begin{array}{c}-4\\ \\ 1\end{array}\right]$$需要注意的是，在Jennifer坐标系中，这两个基向量${\mathbf{b}}_1$、${\mathbf{b}}_2$仍然是$\left(1,0\right)$和$\left(0,1\right)$。
可以发现，对于同一空间向量，不同的坐标系下的表示是不同的。

如果我们把Jennifer坐标系的基向量组成一个矩阵$$\left[\begin{array}{cc}2& -1\\ 1& 1\end{array}\right]$$那么这个矩阵代表的就是将$\mathbf{i}$、$\mathbf{j}$坐标系下的向量变换到Jennifer坐标系中。但是，数值上却是将Jennifer的语言用标准坐标系来表示，相当于这个矩阵是基于向量$\mathbf{i}$、$\mathbf{j}$来表示的。例如用这个矩阵乘以上述向量${\left[\begin{array}{cc}-1& 2\end{array}\right]}^T$得到的其实是在$\mathbf{i}$、$\mathbf{j}$坐标系下的向量。

对于矩阵$\left[\begin{array}{cc}2& -1\\ 1& 1\end{array}\right]$的逆，就是上述变换的逆变换，将Jennifer坐标系中的向量变换到$\mathbf{i}$、$\mathbf{j}$坐标系中，数值上是将标准坐标系变成了Jennifer的语言，相当于这个矩阵是基于向量${\mathbf{b}}_1$、${\mathbf{b}}_2$来表示的。
例如，在$\mathbf{i}$、$\mathbf{j}$坐标系下的向量${\left[\begin{array}{cc}3& 2\end{array}\right]}^T$，在Jennifer坐标系中是${\left[\begin{array}{cc}\frac{5}{3}& \frac{1}{3}\end{array}\right]}^T$，这只需要用上面矩阵的逆乘以${\left[\begin{array}{cc}3& 2\end{array}\right]}^T$，即：
$${\left[\begin{array}{cc}2& -1\\ & \\ 1& 1\end{array}\right]}^{-1}\left[\begin{array}{c}3\\ \\ 2\end{array}\right]=\left[\begin{array}{c}\frac{5}{3}\\ \\ \frac{1}{3}\end{array}\right]$$

向量${\left[\begin{array}{cc}3& 2\end{array}\right]}^T$是用基向量$\mathbf{i}$、$\mathbf{j}$表示的结果，向量${\left[\begin{array}{cc}\frac{5}{3}& \frac{1}{3}\end{array}\right]}^T$是用基向量${\mathbf{b}}_1$、${\mathbf{b}}_2$表示的结果，两者实质上是同一个向量，只不过是在不同基坐标系下的表示结果。

对于变换矩阵$\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$，它是将任意向量逆时针旋转90°的变换。如果要将Jennifer坐标系也逆时针旋转$90°$，不能用矩阵$\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$来变换，因为这一变换是基于$\mathbf{i}$、$\mathbf{j}$坐标系来变换的，它是在追踪向量$\mathbf{i}$、$\mathbf{j}$得到的。

因此，我们需要找到的是基向量${\mathbf{b}}_1$、${\mathbf{b}}_2$ 在旋转变换后在Jennifer坐标系中的位置。要实现这一想法，我们可以先进行基变换变成$\mathbf{i}$、$\mathbf{j}$坐标系，然后进行旋转变换，最后进行基变换的逆变换还原到Jennifer坐标系中。具体如下：

从Jennifer坐标系中的向量${\left[\begin{array}{cc}-1& 2\end{array}\right]}^T$出发，通过左乘矩阵$\left[\begin{array}{cc}2& -1\\ 1& 1\end{array}\right]$转化成$\mathbf{i}$、$\mathbf{j}$坐标系的语言，然后再左乘矩阵$\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$进行旋转变换，最后左乘矩阵${\left[\begin{array}{cc}2& -1\\ 1& 1\end{array}\right]}^{-1}$还原到Jennifer坐标系的语言，最终得到：
$${\left[\begin{array}{cc}2& -1\\ & \\ 1& 1\end{array}\right]}^{-1}\left[\begin{array}{cc}0& -1\\ & \\ 1& 0\end{array}\right]\left[\begin{array}{cc}2& -1\\ & \\ 1& 1\end{array}\right]\left[\begin{array}{c}-1\\ \\ 2\end{array}\right]$$
因此，如果Jennifer用${\left[\begin{array}{cc}2& -1\\ 1& 1\end{array}\right]}^{-1}\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]\left[\begin{array}{cc}2& -1\\ 1& 1\end{array}\right]$乘以她的坐标系中的一个向量，得到的就是这个向量在她的坐标系中逆时针旋转$90°$的结果。

对于${\mathbf{A}}^{-1}\mathbf{MA}$，实际上暗示着一种数学上的转移作用。中间的矩阵$\mathbf{M}$代表一种标准坐标系下常见的变换，${\mathbf{A}}^{-1}$、$\mathbf{A}$代表转移作用，就是在其他坐标系与标准坐标系之间进行转换，实际上也是视角上的转化。

参考文献

1. UP主汉语配音-【线性代数的本质】合集-转载于3Blue1Brown官方双语】
2. 【熟肉】线性代数的本质 - 01 - 向量究竟是什么？
3. 线性代数的本质（完整版）