向量内积的几何解释

向量内积的几何解释

再看西瓜书中的线性判别分析 LDA，注意到了 ${\mathbf{w}}^{⊺}\mathbf{x}$，说是 “直线上的投影”，于是扒一扒，向量内积怎么就是投影了？

给定两个向量 $\mathbf{a}$ 和 $\mathbf{b}$，我们已经熟练地知道可以求：
$(1)$ 两者之间的夹角余弦$(相似度)$ $$cos⟨\mathbf{a},\mathbf{b}⟩=\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{a}|\cdot |\mathbf{b}|}$$ $(2)$ 求 $\mathbf{a}$ 到 $\mathbf{b}$ 方向的投影长度 $$\begin{array}{rl}|\mathbf{a}|cos⟨\mathbf{a},\mathbf{b}⟩& =|\mathbf{a}|\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{a}|\cdot |\mathbf{b}|}\\ & =\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{b}|}\\ & ={\mathbf{a}}^{⊺}\frac{\mathbf{b}}{|\mathbf{b}|}\end{array}$$ 但是这里面的内积 ${\mathbf{a}}^{⊺}\mathbf{b}$ 究竟是个啥？直觉的几何意义是什么？也许我们从上述两个用途看出向量内积的几何意义：可代表向量之间的夹角，可代表一个向量到另一个向量方向上的投影，但为什么是这样呢？夹角余弦为什么是这么算的？下面我们从向量内积计算的角度（对应位相乘累加）解释这是怎么回事。

先从最简单的二维看看。上图中有两个单位向量 $\mathbf{a}=(x,y)$ 和 $\mathbf{b}=(cos\beta ,sin\beta )$，其中 $\beta$ 是向量 $\mathbf{b}$ 与 $x$ 轴的夹角。那么计算内积 $${\mathbf{a}}^{⊺}\mathbf{b}=x\ast cos\beta +y\ast sin\beta$$ 拆开这个式子的两项看看。$OC=x$，$CE\perp OE$，$OC$ 在 $OB$ 方向的投影长度（红色的线段）： $$OE=OC\ast cos\beta =x\ast cos\beta$$ 又 $AC=y$，$EF=CG=y\ast sin\beta$，则向量 $\mathbf{a}$ 到 $\mathbf{b}$ 方向的投影长度（黄色线段） $$\begin{array}{rl}OF& =OE+EF\\ & =x\ast cos\beta +y\ast sin\beta \end{array}$$ 这就从几何上直观地解释了为什么向量内积是向量投影长度。注意到 $sin\beta =cos(\frac{\pi }{2}-\beta )$，那么 $$OF=x\ast cos\beta +y\ast cos(\frac{\pi }{2}-\beta )$$ 拆开来看，$x\ast cos\beta$ 是 $\mathbf{a}$ 的 $x$ 分量在 $\mathbf{b}$ 方向上的投影长度，而 $y\ast cos(\frac{\pi }{2}-\beta )$ 是 $y$ 分量在 $\mathbf{b}$ 方向上的投影长度，整个内积就是整个向量的投影长度。也就是说，计算向量内积时，对应分量相乘，其实就是分量投影而已。
【注】分量就是向量在各个坐标轴上的投影长度。也可以这么说，向量 $\mathbf{a}$ 先投影到各坐标轴，再从坐标轴投影到向量 $\mathbf{b}$，再累加。
很明显，更高维的情况也是一样的，各个分量在所投方向的投影累加。至于非单位向量，向量模就是个系数罢了，况且真到实际应用，单位化（normalize）的情况居多。

回过头来说夹角余弦为什么是这么算的？现在假设 $\mathbf{b}$ 不是单位向量了，那么 $\frac{\mathbf{b}}{|\mathbf{b}|}$ 是单位向量，$\mathbf{a}$ 在 $\mathbf{b}$ 方向上的投影长度是 $\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{b}|}$，那么夹角余弦为 $cos⟨\mathbf{a},\mathbf{b}⟩=\frac{\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{b}|}}{|\mathbf{a}|}=\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{a}||\mathbf{b}|}$。

----------【更新】begin----------

从向量内积的分配律角度分析

在上面，我们解释道：“$x\ast cos\beta$ 是 $\mathbf{a}$ 的 $x$ 分量在 $\mathbf{b}$ 方向上的投影长度，而 $y\ast cos(\frac{\pi }{2}-\beta )$ 是 $y$ 分量在 $\mathbf{b}$ 方向上的投影长度，整个内积就是整个向量的投影长度。也就是说，计算向量内积时，对应分量相乘，其实就是分量投影而已。” 这绕了一个圈，即使是在图上，依然需要作辅助线才能更直观地理解 “向量内积中的分量相乘的投影意义”。现在我们从向量内积的分配律角度更直观地解释向量内积的本质。

向量内积分配律为什么成立？知乎《向量点积分配律a(b+c)=ab+ac如何证明？》中有很多精彩回答，用户“拟核码”最为直观简洁。

现在，向量 $$\begin{array}{r}\mathbf{a}=(x,y)=(x,0)+(0,y)=\overrightarrow{OC}+\overrightarrow{CA}\end{array}$$ 把 $\overrightarrow{CA}$ 沿着 $\overrightarrow{CE}$ 滑动至 $\overrightarrow{E{A}^{{}^{\prime }}}$。我们把向量 $\mathbf{a}$ 分解了，分成了两个方向 $\overrightarrow{OC}+\overrightarrow{E{A}^{{}^{\prime }}}$。再看 $$\begin{array}{rl}\overrightarrow{OC}\cdot \mathbf{b}& =(x,0)\cdot (cos\beta ,cos(\frac{\pi }{2}-\beta ))=x\ast cos\beta \\ \overrightarrow{CA}\cdot \mathbf{b}& =(0,y)\cdot (cos\beta ,cos(\frac{\pi }{2}-\beta ))=y\ast cos(\frac{\pi }{2}-\beta )\\ \mathbf{a}\cdot \mathbf{b}=(\overrightarrow{OC}+\overrightarrow{CA})\cdot \mathbf{b}& =x\ast cos\beta +y\ast cos(\frac{\pi }{2}-\beta )\\ & =\overrightarrow{OC}\cdot \mathbf{b}+\overrightarrow{CA}\cdot \mathbf{b}\end{array}$$ 这就我们熟悉的向量点乘分配律。同时也解释了向量内积对应位相乘就是分量投影，整个加起来就是整个向量的投影。

上面的向量分解方法是顺着各坐标轴方向分的，比较好理解，如果随意分呢？还成立吗？
上面是为了方便解释“分量投影”本质。事实上，回看知乎，回答们已经解释得很清楚，分配律很直观地成立。

另外，我们已经知道 $$(\overrightarrow{OC}+\overrightarrow{CA})\cdot \mathbf{b}=\overrightarrow{OC}\cdot \mathbf{b}+\overrightarrow{CA}\cdot \mathbf{b}$$ 表示向量分解后投影到另一个向量上等于分别投影后再相加，那么 $$(\overrightarrow{OC}+\overrightarrow{CA})\cdot \mathbf{b}=\overrightarrow{OC}\cdot \mathbf{b}+\overrightarrow{CA}\cdot \mathbf{b}=\mathbf{b}\cdot \overrightarrow{OC}+\mathbf{b}\cdot \overrightarrow{CA}=\mathbf{b}\cdot (\overrightarrow{OC}+\overrightarrow{CA})$$ 就表示向量投影到被分解的分支向量上再相加等于投影到合起来的向量。只是这不太直观，因为不只要看在分量方向上的投影长度，还要考虑各分量长度不一致，也就是“基”的长度不一致，而基之间的关系也不直观，故分解被投影者是不够直观的。

向量是特征

讲到这，我甚至突然发现，其实向量就代表了某种特征，它可以是复合的，也可以是单纯的。例如我们有向量 $\mathbf{x}=(x_1,x_2,...,x_i,...,x_n)$，每个 $x_i$ 代表着一种属性（如西瓜的颜色深浅度）。

所谓单纯的，就是平时我们讲的向量的某一分量 $(0,0,...,0,1,0,...,0,0)$，它不考虑其他属性，我们也可以叫它 “基向量”，一个向量 $\mathbf{x}$ 在此基上的投影为 ${\mathbf{x}}^{⊺}(0,0,...,0,1,0,...,0,0)=x_i$，表示了该 $\mathbf{x}$ 在此属性上的强度。当两个向量 $\mathbf{x},\mathbf{y}$ 在同一基上的投影 $x_i=y_i$，我们说两者在此属性（特征）上相同，又或者 $x_i\approx y_i$，我们说两者在此属性（特征）上相似。

又，所谓向量 $\mathbf{x}=(x_1,x_2,...,x_i,...,x_n)$，其实是在标准正交基 $E=({\mathbf{e}}_1,{\mathbf{e}}_2,...,{\mathbf{e}}_i,...,{\mathbf{e}}_n)$ 下的坐标：$\mathbf{x}=E(x_1,x_2,...,x_i,...,x_n{)}^{⊺}={\sum }_i^n{x}_i{\mathbf{e}}_i$，这也是分解了 $\mathbf{x}$，当计算 $\mathbf{y}$ 在 $\mathbf{x}$ 上的投影时，可计算 ${\mathbf{y}}^{⊺}({\sum }_i^n{x}_i{\mathbf{e}}_i)={\sum }_i^n{x}_i{\mathbf{y}}^{⊺}{\mathbf{e}}_i$。

那么，$\mathbf{x}$ 投影到 $\mathbf{y}$ 就是分解 $\mathbf{x}$，其中一个方向就是 $\mathbf{y}$ 的方向，${\mathbf{x}}^{⊺}\frac{\mathbf{y}}{|\mathbf{y}|}$ 就是在该方向上的强度，另一个方向与 $\mathbf{y}$ 垂直（无关）。所以 $\mathbf{x}$ “含有” 几个 $\mathbf{y}$ 呢？$\frac{{\mathbf{x}}^{⊺}\mathbf{y}}{|\mathbf{y}{|}^2}$。即，如果把 $\mathbf{y}$ 看作一个特征，那对于该 $\mathbf{x}$ 来说，此特征上的强度是 $\frac{{\mathbf{x}}^{⊺}\mathbf{y}}{|\mathbf{y}{|}^2}$。

非正交基下向量内积是咋回事？

一拍脑袋，难道只有分解到正交基才有实际意义？分解 $\mathbf{x}=\alpha \mathbf{a}+\beta \mathbf{b}$ 就没有意义吗？我们能不能把 $\mathbf{a}$ 和 $\mathbf{b}$ 也看做某种属性，或者说某种复合特征，而 $\alpha ,\beta$ 分别是 $\mathbf{x}$ 在这两个特征上的强度，即，在 “基” $\mathbf{a},\mathbf{b}$ 下，$\mathbf{x}=(\alpha ,\beta )$。重点，但我想了几天，始终弄不明白此坐标系下的“内积”的意义是什么，在此只能给出一些暂时得出的结论。

设随意的长度为 $1$ 的 $2$ 维单位向量 $\mathbf{a},\mathbf{b}$ 为坐标系的基，两者夹角 $⟨\mathbf{a},\mathbf{b}⟩=\theta$，现有 $$\mathbf{x}=(x_1,x_2)=x_1\mathbf{a}+x_2\mathbf{b}$$ $$\mathbf{y}=(y_1,y_2)=y_1\mathbf{a}+y_2\mathbf{b}$$ 那么他们的真正内积应该是 $$\begin{array}{rl}⟨\mathbf{x},\mathbf{y}⟩& =(x_1\mathbf{a}+x_2\mathbf{b})(y_1\mathbf{a}+y_2\mathbf{b})\\ & =x_1{y}_1{\mathbf{a}}^{⊺}\mathbf{a}+x_1{y}_2{\mathbf{a}}^{⊺}\mathbf{b}+x_2{y}_1{\mathbf{b}}^{⊺}\mathbf{a}+x_2{y}_2{\mathbf{b}}^{⊺}\mathbf{b}\\ & =x_1{y}_1+(x_1{y}_2+x_2{y}_1)cos\theta +x_2{y}_2\end{array}$$ ???，我们平时计算的内积是这样啊：${\mathbf{x}}^{⊺}\mathbf{y}=x_1{y}_1+x_2{y}_2$，没错，如果是正交基的话，$cos\theta =0$，就一致了。事实上，上面已经说过标准正交基下向量内积的计算 ${\mathbf{y}}^{⊺}({\sum }_i^n{x}_i{\mathbf{e}}_i)={\sum }_i^n{x}_i{\mathbf{y}}^{⊺}{\mathbf{e}}_i$，其中 $\mathbf{x}=E(x_1,x_2,...,x_n{)}^{⊺}={\sum }_i^n{x}_i{\mathbf{e}}_i$，如果换一个坐标系 $P=({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_n)$，那么 $\mathbf{x}=P(x_1,x_2,...,x_n{)}^{⊺}={\sum }_i^n{x}_i{\mathbf{\alpha }}_{\mathbf{i}}$，再有 $\mathbf{y}=P(y_1,y_2,...,y_n{)}^{⊺}={\sum }_i^n{y}_i{\mathbf{\alpha }}_i$，那么 $$\begin{array}{rl}⟨\mathbf{x},\mathbf{y}⟩& =(\sum _i^n{x}_i{\mathbf{\alpha }}_i{)}^{⊺}(\sum _i^n{y}_i{\mathbf{\alpha }}_i)\\ & =\left[\begin{array}{c}{x}_1,x_2,\cdots ,x_n\end{array}\right]P^{⊺}P\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]\\ & =\left[\begin{array}{c}{x}_1,x_2,\cdots ,x_n\end{array}\right]\left[\begin{array}{cccc}{{\mathbf{\alpha }}_1}^{⊺}{\mathbf{\alpha }}_1& {{\mathbf{\alpha }}_1}^{⊺}{\mathbf{\alpha }}_2& \cdots & {{\mathbf{\alpha }}_1}^{⊺}{\mathbf{\alpha }}_{\mathbf{n}}\\ {{\mathbf{\alpha }}_2}^{⊺}{\mathbf{\alpha }}_1& {{\mathbf{\alpha }}_2}^{⊺}{\mathbf{\alpha }}_2& \cdots & {{\mathbf{\alpha }}_2}^{⊺}{\mathbf{\alpha }}_{\mathbf{n}}\\ ⋮& ⋮& \ddots & ⋮\\ {{\mathbf{\alpha }}_{\mathbf{n}}}^{⊺}{\mathbf{\alpha }}_1& {{\mathbf{\alpha }}_{\mathbf{n}}}^{⊺}{\mathbf{\alpha }}_2& \cdots & {{\mathbf{\alpha }}_{\mathbf{n}}}^{⊺}{\mathbf{\alpha }}_{\mathbf{n}}\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]\end{array}$$ 只不过，在标准规范正交基下 $$\left[\begin{array}{cccc}{{\mathbf{\alpha }}_1}^{⊺}{\mathbf{\alpha }}_1& {{\mathbf{\alpha }}_1}^{⊺}{\mathbf{\alpha }}_2& \cdots & {{\mathbf{\alpha }}_1}^{⊺}{\mathbf{\alpha }}_{\mathbf{n}}\\ {{\mathbf{\alpha }}_2}^{⊺}{\mathbf{\alpha }}_1& {{\mathbf{\alpha }}_2}^{⊺}{\mathbf{\alpha }}_2& \cdots & {{\mathbf{\alpha }}_2}^{⊺}{\mathbf{\alpha }}_{\mathbf{n}}\\ ⋮& ⋮& \ddots & ⋮\\ {{\mathbf{\alpha }}_{\mathbf{n}}}^{⊺}{\mathbf{\alpha }}_1& {{\mathbf{\alpha }}_{\mathbf{n}}}^{⊺}{\mathbf{\alpha }}_2& \cdots & {{\mathbf{\alpha }}_{\mathbf{n}}}^{⊺}{\mathbf{\alpha }}_{\mathbf{n}}\end{array}\right]=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]=E$$ 才使得 $⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^{⊺}\mathbf{y}={\sum }_i^n{x}_i{y}_i$。

于是乎，真正的向量内积应该是 $⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^{⊺}{P}^{⊺}P\mathbf{y}={\mathbf{x}}^{⊺}A\mathbf{y}$，中间的这个对称矩阵 $A$ 就代表了坐标轴之间的投影关系，听说他叫 “度量矩阵”，原因在于 $Distance(\mathbf{x},\mathbf{y})=\sqrt[]{(\mathbf{x}-\mathbf{y}{)}^{⊺}A(\mathbf{x}-\mathbf{y})}$。

问题来了，我们已经了解到，$x_i{y}_i$ 是对应坐标分量的投影，它实质上是 $x_i{{\mathbf{e}}_{\mathbf{i}}}^{⊺}{\mathbf{e}}_{\mathbf{i}}{y}_i$，那么 $x_i{{\mathbf{e}}_{\mathbf{i}}}^{⊺}{\mathbf{e}}_{\mathbf{j}}{y}_j(i\ne j)$ 代表什么？它也是的，只不过投向了不同的坐标轴，结果发现是垂直的，那就是 $0$ 吧。哎！换了非正交坐标系，它就不是 $0$。

事情是这个样子的，在基 $P=({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2)$ 下，$\mathbf{x}=(x_1,x_2);\mathbf{y}=(y_1,y_2)$，计算内积 $$\begin{array}{rl}⟨\mathbf{x},\mathbf{y}⟩& =(x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2{)}^{⊺}(y_1{\mathbf{\alpha }}_1+y_2{\mathbf{\alpha }}_2)\\ & =(x_1{\mathbf{\alpha }}_1{)}^{⊺}(y_1{\mathbf{\alpha }}_1)+(x_1{\mathbf{\alpha }}_1{)}^{⊺}(y_2{\mathbf{\alpha }}_2)+(x_2{\mathbf{\alpha }}_2{)}^{⊺}(y_1{\mathbf{\alpha }}_1)+(x_2{\mathbf{\alpha }}_2{)}^{⊺}(y_2{\mathbf{\alpha }}_2)\end{array}$$ 来看一看这四项都是些什么。如上图，$\mathbf{x}$ 被分解为 $(x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2)$，$\mathbf{y}$ 被分解为 $(y_1{\mathbf{\alpha }}_1+y_2{\mathbf{\alpha }}_2)$，现计算内积，我们假设 $\mathbf{x}$ 投向 $\mathbf{y}$，根据前面得到的结论，就是 $x_1{\mathbf{\alpha }}_1,x_2{\mathbf{\alpha }}_2$ 分别投到 $\mathbf{y}$ 后再相加；再看 $x_1{\mathbf{\alpha }}_1$ 投向 $\mathbf{y}$，就是 $x_1{\mathbf{\alpha }}_1$ 分别投到 $y_1{\mathbf{\alpha }}_1,y_2{\mathbf{\alpha }}_2$ 后再相加；过程已经很清楚了，就不说了。

弄了半天，原来内积就是投影，还是直直地投影，计算的时候还要把坐标系带上，由于我们平时都是在标准规范基下计算，就省略了它。

能不能不带坐标系？

前面说了那么多，本质上还都是建立在垂直投影的基础上，也就是说基之间的内积 ${\mathbf{\alpha }}_i^{⊺}{\mathbf{\alpha }}_j$ 也是按垂直投影算的，${\mathbf{\alpha }}_i,{\mathbf{\alpha }}_j$之间如果不垂直，那么其内积 ${\mathbf{\alpha }}_i^{⊺}{\mathbf{\alpha }}_j\ne 0$，如上图的 ${\mathbf{\alpha }}_1^{⊺}{\mathbf{\alpha }}_2\ne 0$。

现在，我们尝试脱离垂直投影，建立一种新的投影：令坐标系之间的内积为 $0$，即 ${\mathbf{\alpha }}_i^{⊺}{\mathbf{\alpha }}_j=0(i\ne j)$。先从上图看一个最简单的：${\mathbf{\alpha }}_1=(1,0);{\mathbf{\alpha }}_2=(0,1)$，对！我们完全脱离标准直角坐标系，那么 $${\mathbf{\alpha }}_1^{⊺}{\mathbf{\alpha }}_2=1\ast 0+0\ast 1=0$$ 再如 $\mathbf{x}=(x_1,x_2)$，计算 $$\begin{gathered} {\mathbf{x}}^{⊺}{\mathbf{\alpha }}_1=x_1\ast 1+x_2\ast 0=x_1 \\ {\mathbf{x}}^{⊺}{\mathbf{\alpha }}_2=x_1\ast 0+x_2\ast 1=x_2 \end{gathered}$$ ???，这是什么操作？${\mathbf{\alpha }}_1^{⊺}{\mathbf{\alpha }}_2=0$ 了？它代表了 ${\mathbf{\alpha }}_1$ 到 ${\mathbf{\alpha }}_2$ 的投影，现在却是 $0$，仔细看看，我沿着 ${\mathbf{\alpha }}_1$ 自身的方向投向 ${\mathbf{\alpha }}_2$，不就是 $0$ 了。反过来也一样，${\mathbf{\alpha }}_2$ 沿着自身的方向投向 ${\mathbf{\alpha }}_1$，投影也是 $0$。${\mathbf{x}}^{⊺}{\mathbf{\alpha }}_1$ 是沿着 ${\mathbf{\alpha }}_2$ 的方向投向 ${\mathbf{\alpha }}_1$，投影是 $x_1$；${\mathbf{x}}^{⊺}{\mathbf{\alpha }}_2$ 是沿着 ${\mathbf{\alpha }}_1$ 的方向投向 ${\mathbf{\alpha }}_2$，投影是 $x_2$。可以看到，在规定了 ${\mathbf{\alpha }}_i^{⊺}{\mathbf{\alpha }}_j=0(i\ne j)$ 后，甚至 $$\begin{array}{rl}{\mathbf{x}}^{⊺}\mathbf{y}& =(x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2{)}^{⊺}(y_1{\mathbf{\alpha }}_1+y_2{\mathbf{\alpha }}_2)\\ & =x_1{y}_1{\mathbf{\alpha }}_1^{⊺}{\mathbf{\alpha }}_1+x_1{y}_2{\mathbf{\alpha }}_1^{⊺}{\mathbf{\alpha }}_2+x_2{y}_1{\mathbf{\alpha }}_2^{⊺}{\mathbf{\alpha }}_1+x_2{y}_2{\mathbf{\alpha }}_2^{⊺}{\mathbf{\alpha }}_2\\ & =x_1{y}_1+x_2{y}_2\end{array}$$ 这似乎符合我们平时计算内积的习惯？呃！他本来就是直角坐标系，只不过现在咱把这个不是直角的东西强行当作直角，也可以说把直角坐标系挤扁了。

接下来，我们寻找 ${\mathbf{x}}^{⊺}\mathbf{y}=x_1{y}_1+x_2{y}_2$ 的物理意义，是否还是某个投影长度？回顾上面的投影 ${\mathbf{\alpha }}_1^{⊺}{\mathbf{\alpha }}_2,{\mathbf{x}}^{⊺}{\mathbf{\alpha }}_1,{\mathbf{x}}^{⊺}{\mathbf{\alpha }}_2$，都是沿着与投影目的向量方向成 $\theta$ 角的方向投，现在，咱把 $\mathbf{x}$ 沿着与 $\mathbf{y}$ 方向成 $\theta$ 角的方向投，如上图所示。这么投的原因是直观的：这个方向上的向量在 $\mathbf{y}$ 上的投影是 $0$，相当于把 $\mathbf{x}$ 分解到这个方向上，且使余下的向量与 $\mathbf{y}$ 平行，那它岂不是在 $\mathbf{y}$ 上的投影？现在验证图中的 $a$ 是否是 $\frac{{\mathbf{x}}^{⊺}\mathbf{y}}{|\mathbf{y}|}=\frac{x_1{y}_1+x_2{y}_2}{|\mathbf{y}|}$，如果是的话，我们就找到了 ${\mathbf{x}}^{⊺}\mathbf{y}=x_1{y}_1+x_2{y}_2$ 的物理意义。 $\mathbf{x}$ 的物理长度的平方为（标准坐标系下 ${\mathbf{\alpha }}_1^{⊺}{\mathbf{\alpha }}_2={\mathbf{\alpha }}_2^{⊺}{\mathbf{\alpha }}_1=cos\theta$） $$\begin{array}{rl}|\mathbf{x}{|}^2& =(x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2{)}^{⊺}(x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2)\\ & =x_1^2+x_2^2+2x_1{x}_{2}cos\theta \\ (a+b{)}^2& =\frac{[(x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2{)}^{⊺}(y_1{\mathbf{\alpha }}_1+y_2{\mathbf{\alpha }}_2){]}^2}{(y_1{\mathbf{\alpha }}_1+y_2{\mathbf{\alpha }}_2{)}^{⊺}(y_1{\mathbf{\alpha }}_1+y_2{\mathbf{\alpha }}_2)}\\ c^2& =|\mathbf{x}{|}^2-(a+b{)}^2\\ & =\frac{(x_1^2+x_2^2+2x_1{x}_{2}cos\theta )(y_1^2+y_2^2+2y_1{y}_{2}cos\theta )-(x_1{y}_1+x_2{y}_2+(x_1{y}_2+x_2{y}_1)cos\theta {)}^2}{|\mathbf{y}{|}^2}\\ & =\frac{(x_1{y}_2-x_2{y}_1{)}^{2}si{n}^2\theta }{|\mathbf{y}{|}^2}\\ b^2& =\frac{c^2}{ta{n}^2\theta }\\ & =\frac{(x_1{y}_2-x_2{y}_1{)}^{2}si{n}^2\theta }{|\mathbf{y}{|}^2}\frac{co{s}^2\theta }{si{n}^2\theta }\\ & =\frac{(x_1{y}_2-x_2{y}_1{)}^{2}co{s}^2\theta }{|\mathbf{y}{|}^2}\\ b& =\frac{|(x_1{y}_2-x_2{y}_1)cos\theta |}{|\mathbf{y}|}\end{array}$$
发现。。。。。。 $$a\ne \frac{x_1{y}_1+x_2{y}_2}{|\mathbf{y}|}$$ 至此，研究结束，失败了！究其原因，我们终究无法脱离标准坐标系谈长度的概念。这种压扁了的坐标系，是不便于探究投影的，或许这里的 $x_1{y}_1+x_2{y}_2$ 就没什么意义。有谁知道的话欢迎留言赐教。

最后，关于非正交坐标系和度量矩阵 $A$ 那个东西，暂时想到一个方面：现实世界中，我们拿到一条数据 $\mathbf{x}=(x_1,x_2,\cdots ,x_n{)}^{⊺}$，$x_i,x_j$ 对应的属性之间可能是相关的，即非正交。这意味着 $\mathbf{x}$ 实际是非标准正交系下的点，则计算距离 $Distance(\mathbf{x},\mathbf{y})=\sqrt[]{(\mathbf{x}-\mathbf{y}{)}^{⊺}(\mathbf{x}-\mathbf{y})}$ 就会有偏差。引入度量矩阵 $Distance(\mathbf{x},\mathbf{y})=\sqrt[]{(\mathbf{x}-\mathbf{y}{)}^{⊺}A(\mathbf{x}-\mathbf{y})}$ 进行纠正可能会有效。

---------- 更新 end -------------

超平面是在法向量方向上投影相同的点集

我们经常看到超平面的方程是 $${\mathbf{w}}^{⊺}\mathbf{x}+b=0$$ 下面我们就用向量内积的几何解释来看看超平面的是怎么一回事。

先从简单的二维平面上的直线开始，$\mathbf{w}$ 是直线的法向量，垂直于直线，很明显，直线上的任意一点 $\mathbf{x}$ 投影到法向量上后 ${\mathbf{w}}^{⊺}\mathbf{x}$ 都相等，设为 $b$，当 $b=0$ 时，直线过原点。三维空间平面也是一样：

$\mathbf{w}$ 是平面的法向量，垂直于平面，很明显，平面上的任意一点 $\mathbf{x}$ 投影到法向量上后 ${\mathbf{w}}^{⊺}\mathbf{x}$ 都相等，设为 $b$，当 $b=0$ 时，平面过原点。

【注】有时我们考虑用向量内积表达相似度，又为了便于计算，干脆不考虑模

那么当 $cos⟨\overrightarrow{OA},\overrightarrow{OC}⟩=cos⟨\overrightarrow{OB},\overrightarrow{OC}⟩$ 时，其实夹角并不相等，然而这可能依然有效，这作何解释呢？猜测可能是 $A$ 和 $B$ 依然有 “在同一平面” 这一共性。