9.1 向量范数

范数定义

  赋范线性空间normed vector space，是定义了向量范数的线性空间。首先我们来看看向量范数的定义吧。范数，英文叫Norm，是一个满足以下三个性质的从向量到复数的映射。假设$x$是一个向量，$x$的范数的符号是$\parallel x\parallel$，这三条性质是这样的：

1. 正定性positivity,$\parallel x\parallel \ge 0$，只有$A=0$时才取等号；
2. 非负齐次性homogeneity或scaling, $\parallel kx\parallel =|k|\parallel x\parallel$
3. 劣可加性subadditivity或三角不等式triangle inequality，$\parallel x+y\parallel \le \parallel x\parallel +\parallel y\parallel$。

  这个定义是针对所有线性空间的，我们知道实数$R$可以当成一个一维的线性空间，所以绝对值，符合上述的三点定义。所以所有实数组成的空间（不能叫实空间！）中的绝对值是一个范数。
  再举个例子，所有复数$C$也组成了一个二维的线性空间（不能叫复空间！），复数的模长也是一个范数。
  接下来，我要介绍$C^n$空间中最重要的四种范数。

向量的1-范数

  1-范数1-norm，就是坐标的所有绝对值相加的定义如下：
$$\parallel x{\parallel }_1=|x_1|+|x_2|+\cdots +|x_n|$$
  或者高大上一点：
$$\parallel x{\parallel }_1=\sum _{i=1}^n|x_i|$$

向量的2-范数

  2-范数2-norm，在实空间里也叫欧几里得范数Euclidean norm，在一般情况下，求向量的范数，意思就是求向量的2-范数。它的定义如下：
$$\parallel x{\parallel }_2=\sqrt{|x_1{|}^2+|x_2{|}^2+\cdots +|x_n{|}^2}$$
  或者高大上一点：
$$\parallel x{\parallel }_2=\sqrt{\sum _{i=1}^n|x_i{|}^2}$$
  有时候我们会好奇为啥非要加个绝对值呢？这个不是绝对值啊，是模长！以复数为例子：
$$\begin{gathered} |3+i{|}^2=10 \\ (3+i{)}^2=9+i^2+6i=8+6i \end{gathered}$$

向量的p-范数

  p-范数p-norm，在实空间里也叫欧几里得范数Euclidean norm，在一般情况下，求向量的范数，意思就是求向量的2-范数。它的定义如下：
$$\parallel x{\parallel }_p=(|x_1{|}^p+|x_2{|}^p+\cdots +|x_n{|}^p{)}^{\frac{1}{p}}$$
  或者高大上一点：
$$\parallel x{\parallel }_p=(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$$
  但是不能写成：
$$\parallel x{\parallel }_p=\sqrt[p]{\sum _{i=1}^n|x_i{|}^p}$$
  为啥不能这么写？因为$p$不一定是整数哦。
  1-范数，2-范数其实就是p=1和2时的p-范数。

向量的$\infty$-范数

  无穷范数是求向量的各个分量（就是坐标）模长的最大值，定义如下：
∥ x ∥ ∞ = m a x { ∣ x i ∣   ∣ 1 ≤ i ≤ n } \parallel x\parallel _\infty=max\{|x_i| \ |1\le i \le n\} ∥x∥∞​=max{∣xi​∣ ∣1≤i≤n}
  1-范数，2-范数，p-范数以及无穷范数符合范数的定义吗？如果要证明这些范数符合向量范数的定义，尤其是三角不等式的证明，就需要用到线性代数的三大不等式：柯西-施瓦茨不等式、赫尔德不等式和闵可夫斯基不等式。下一篇文章，我会详细讲解三大不等式。

内积导出范数

  范数$\parallel \mathbf{a}\parallel =\sqrt{(a,a)}$是向量的按内积导出的范数，有时候当成向量的长度，如定义以下内积：
$$\begin{gathered} (\mathbf{a},\mathbf{b})={\mathbf{a}}^{T}A\mathbf{b} \\ A=\left(\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\\ 0& 0& 3\end{array}\right) \end{gathered}$$
  那么向量$(1,2,1{)}^T$的范数为：
$$\Vert \begin{array}{c}1\\ 2\\ 1\end{array}\Vert =\sqrt{(a,a)}=\sqrt{12}$$