矩阵手册（五）—— 内积

内积物理意义是投影长度。

$$\langle u,v \rangle=\|u\|\|v\|\cos \theta$$

如果 $v$ 为单位向量，则 $\langle u,v \rangle=\|u\|\cos\theta$，也即 向量 $u$ 在向量 $v$ 上的投影长度。同理对 $u$ 为单位向量（$\|u\|=1$）的情况也是如此。

所以，如果我们想获得一个向量向另一个向量的投影（向量），以 $u$ 投影到 $v$ 为例：

$$u_v=\langle u,v \rangle\cdot \frac{v}{\|v\|\|v\|}=\langle u,v \rangle\frac{v}{\langle v,v \rangle}$$
$\frac{v}{\|v\|\|v\|}$表示与 $v$ 同向的单位向量，理论上 $u-u_v$ 应当与 $v$ 正交，也即：
$$\langle u-u_v,v \rangle=0$$