矩阵手册（六）—— Cauchy–Schwarz 不等式及其证明

1. Cauchy–Schwarz 不等式

$$\left|\langle u,v\rangle\right|\leq \|u\|\|v\|$$

2. 证明

$v=0$ 或 $\langle u,v\rangle=0$ 时，等式成立，然后排除这两种情况，记 $u$ 到 $v$ 的投影向量为 $u_v$，则：

$$u_v = \langle u,v\rangle\frac{v}{\langle v,v\rangle}$$

或者这样理解，向量=方向&长度，$u$ 在 $v$ 上的投影长度为 $\|u\|\cos \theta$，而方向是向量 $v$ 的方向，即 $\frac{v}{\|v\|}$，所以 $u_v=\|u\|\cos\theta\frac{v}{\|v\|}$，然后分子分母同时乘以 $\|v\|$ 得 $u_v=\langle u,v\rangle\frac{v}{\langle v,v\rangle}$

记 $z=u-u_v=u-\langle u,v\rangle\frac{v}{\langle v,v\rangle}$ 必然正交于 $v$，

$$u=u_v+z\\ \Downarrow\\ \|u\|^2=\frac{\|\langle u,v\rangle\|^2}{\|v\|^2}+\|z\|^2\geq \frac{\|\langle u,v\rangle\|^2}{\|v\|^2}$$

得证。

3. 柯西不等式的其他形式

$$\left(\sum_{i}a_i^2\right)\left(\sum_{i}b_i^2\right)\geq \left(\sum_{i}a_ib_i\right)^2$$

这里提供一个新的证明思路，构造函数法。

$$f(x)=\sum_{i}a_i^2x^2-2\sum_ia_ib_ix+\sum_ib_i^2=\sum_i(a_ix-b_i)^2\geq 0$$
所以其判别式恒小于等于0，也即：

$$4\left(\sum_ia_ib_i\right)^2\leq 4\sum_ia_i^2\sum_ib_i^2$$

References

[1] Cauchy–Schwarz inequality
[2] 矩阵手册（五）—— 内积