线性代数的本质 - 07 - 点积与对偶性

二维到一维线性变换

• 两个向量$，\vec v， \vec w$的点积的值等于$\vec v$在 $\vec w$上的投影长度 $\times$ $\vec w$自己的长度 。方向相同时是正数，相反时是负数。
• 至于谁投影到谁之所以无区别，因为可用对称性和倍增解决。

为什么点积和投影有关系？

讨论这个问题之前需要先讨论多维空间到一维空间的线性变换。


线性变换，简单地说，就是在原空间内一组等距分布于一条直线上的点，然后应用变换，线性变换会保持这些点等距分布在输出空间中，也就是数轴上。

严格的线性变换定义是这样的：
$L(\vec w + \vec v) = L(\vec w) + L(\vec v)$
$L(c\vec v) = cL(\vec v)$

和之前一样，这些线性变换完全由它对i-hat和j-hat的变换决定，只不过，这些基向量这次只落在一个数上。所以当我们将他们变换后的位置记录为矩阵的列时，就会得到一个$1 \times 2$的矩阵。

假如有一个线性变换$\left[ \begin{matrix} 1 -2 \\ \end{matrix}\right]$，将i-hat和j-hat分别变换至1和-2。此时要跟踪一个向量，比如$\left[ \begin{matrix} 4 \\ 3 \end{matrix}\right]$在变换之后的去向。做法是将这个向量分解为$4 \times \vec i + 3 \times \vec j$，所以变换后这个向量的位置是$4 \times 1 + 3 \times (-2) = -2$.

当完全从数值角度进行计算时，它就是矩阵向量乘法。而矩阵与向量相乘的过程，感觉就像两个向量的点积一样！那个$1 \times 2$的矩阵就像一个倾倒的向量。这暗示了我们这两者是有联系的，但是单纯从数值上的联系和倾倒的过程，不足以展示出这个联系。

对偶性(duality)

假设我们有一个斜放在二维空间中的数轴，考虑这样一个二维向量，它的终点落在这条数轴的1上，称为$\vec u$。如果我们将二维向量直接投影到这个数轴上，实际上就定义了一个从二维向量到数字的函数。更重要的是，这个函数是线性的，二维空间中直线上等距分布的点投影到数轴上后仍然等距分布。

根据以上定义，我们定义了一个二维到一维的变换，所以我们应该可以找到一个描述这个变换的$1 \times 2$矩阵，也就是找到变换后的i-hat和j-hat。

因为i-hat和u-hat都是单位向量，根据对称性，i-hat在数轴上的位置就是u-hat在x轴投影的位置，而u-hat在x轴投影的位置就是u-hat的横坐标，所以这个变换矩阵是$\left[ \begin{matrix} u_x u_y \\ \end{matrix}\right]$.

至此，已经得出了很重要的结论。整理一下思路：

1. 描述投影变换的$1 \times 2$矩阵的两列，就分别是u-hat的两个坐标。
2. 而空间中任意向量经过投影变换的结果，也就是投影矩阵和这个向量相乘，和这个向量与u-hat的点积在计算上完全相同。
   
   这就是为什么与单位向量的点积可以解读为将向量投影到单位向量所在的直线上所得到的投影值。
   
   非单位向量呢？很简单，其实也只需要倍增就可以了。

思考下整个过程：

• 我们有一个二维空间到数轴的线性变换，它并不是由向量数值或点积运算定义得到的，而只是通过将空间投影到给定数轴上来定义。
• 因为这个变换是线性的，所以它必然可以用某个$1 \times 2$矩阵描述。又因为$1 \times 2$矩阵与二维向量相乘的计算过程和转置矩阵并求点积的运算过程相同，所以这个投影必然会与某个二维向量相关。

给我们的启发是：在任何时候看到一个线性变换，它的输出空间是一维数轴，无论它是如何定义的，空间中会存在唯一的向量$\vec v$与之相关。应用变换和与向量$\vec v$做点积是一样的。

这是数学中对偶性的一个实例，可以说一个向量的对偶是由它定义的线性变换，一个多维空间到一维空间的线性变换的对偶是多维空间中的某个特定向量。向量可以不再被看作是箭头，而是线性变换的物质载体。