向量空间的一些基本定义

内积

两个向量 ${\mathbf{x}}_1$ and ${\mathbf{x}}_2$ 的内积定义为
$$⟨{\mathbf{x}}_1,{\mathbf{x}}_2⟩={\mathbf{x}}_1^{\top }{\mathbf{x}}_2=\sum _i{\mathbf{x}}_1[i]{\mathbf{x}}_1[2]$$

从几何的角度想，向量的内积表征的是一种空间结构，只与两个向量的长度和夹角有关:
$$⟨{\mathbf{x}}_1,{\mathbf{x}}_2⟩=\Vert {\mathbf{x}}_1\Vert \ast \Vert {\mathbf{x}}_2\Vert \ast \cos \theta$$

即同时平移或旋转两个向量内积是不变的。这里刚刚好也引出了2-norm的定义
$$\Vert {\mathbf{x}}_1\Vert =\sqrt{⟨{\mathbf{x}}_1,{\mathbf{x}}_1⟩}$$

从几何的角度思考，内积的属性就很简单了，比如说各种线性
$$\Vert {\mathbf{x}}_1-{\mathbf{x}}_2{\Vert }^2=⟨{\mathbf{x}}_1-{\mathbf{x}}_2,{\mathbf{x}}_1-{\mathbf{x}}_2⟩=⟨{\mathbf{x}}_1,{\mathbf{x}}_1⟩+⟨{\mathbf{x}}_2,{\mathbf{x}}_2⟩-2⟨{\mathbf{x}}_1,{\mathbf{x}}_2⟩;$$

比如 $⟨{\mathbf{x}}_1,{\mathbf{x}}_1⟩$ 意味着 ${\mathbf{x}}_1=0$; 再比如两个非零向量 $⟨{\mathbf{x}}_1,{\mathbf{x}}_2⟩=0$ 意味着两者正交。

Cauchy Schwarz inequality 也很好理解了
$$⟨{\mathbf{x}}_1,{\mathbf{x}}_2⟩\le \Vert {\mathbf{x}}_1\Vert \Vert {\mathbf{x}}_2\Vert$$

Norms

之前我们已经见识到了2-norm即向量的长度，这里我们给出一般norm的定义。

一个函数 $f(\mathbf{x}):{\mathbb{R}}^n\to \mathbb{R}$ 是一个 norm if

1. Positivity: $f(\mathbf{x})\ge 0$ and $f(\mathbf{x})=0⟺\mathbf{x}=0$.
2. Homogeneity: $f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x})$, $\forall \alpha \in \mathbb{R}$.
3. Triangle inequality: $f({\mathbf{x}}_1+{\mathbf{x}}_2)\le f({\mathbf{x}}_1)+f({\mathbf{x}}_2)$.

一些典型的norm有 (一般 2-norm 下标省略):
1-norm: $\Vert \mathbf{x}{\Vert }_1={\sum }_i|\mathbf{x}[i]|$;

2-norm: $\Vert \mathbf{x}{\Vert }_2=\sqrt{{\sum }_i\mathbf{x}[i{]}^2}$;

inf-norm: $\Vert \mathbf{x}{\Vert }_{\infty }={\max }_i|\mathbf{x}[i]|$;

$p$-norm: $\Vert \mathbf{x}{\Vert }_p={\left({\sum }_i|\mathbf{x}[i]{|}^p\right)}^{1/p}$, $p\ge 1$;

Arithmetic Mean-Geometric Mean (AM-GM) Inequality

给定一组非负实数 $a_1,a_2,...,a_n$, 一定有
$$\frac{a_1+a_2+...+a_n}{n}\ge \sqrt[{}^n]{a_1{a}_2...a_n}$$

二维时AM-GM可以用下图表示，即 AO $\ge$ GQ.

Reference

1. http://www.princeton.edu/~aaa/Public/Teaching/ORF523/S17/ORF523_S17_Lec2_gh.pdf