（一）向量范数

1. 向量的范数

定义 如果向量（一组数）$\vec{x}\in {\mathbb{R}}^n$ 的某个实函数 $N(\vec{x})=||\vec{x}||$，满足如下条件：

(1) $||\vec{x}||\ge 0$，当且仅当 $\vec{x}=\vec{0}$ 时取等号（正定条件）；

(2) $\forall \alpha \in \mathbb{R}，||\alpha \vec{x}||=|\alpha |\cdot ||\vec{x}||$；

(3) $||\vec{x}+\vec{y}||\le ||\vec{x}||+||\vec{y}||$（三角不等式）；

则称 $N(\vec{x})$ 为 ${\mathbb{R}}^n$ 上的一个向量范数。

根据向量范数的三角不等式有：
$$\begin{array}{rl}& ||\vec{x}-\vec{y}||+||\vec{y}||\ge ||\vec{x}||⟹||\vec{x}-\vec{y}||\ge ||\vec{x}||-||\vec{y}||\\ & \\ & ||\vec{x}-\vec{y}||+||\vec{x}||=||\vec{y}-\vec{x}||+||\vec{x}||\ge ||\vec{y}||⟹||\vec{x}-\vec{y}||\ge ||\vec{y}||-||\vec{x}||\end{array}$$
结合上述两式与三角不等式，便有：
$$|||\vec{x}||-||\vec{y}|||\le ||\vec{x}-\vec{y}||\le ||\vec{x}||+||\vec{y}||$$

2. 常用的向量范数

1. 向量的 $\infty$-范数（最大范数）：
   $$||\vec{x}|{|}_{\infty }\triangleq \underset{1\le i\le n}{\max }|x_i|$$
   条件 (1):
   $$||\vec{x}|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i|\ge 0$$
   上述不等式取等号时，当且仅当
   $$\underset{1\le i\le n}{\max }|x_i|=0⟺\vec{x}=0$$
   条件 (2)：
   $$||\alpha \vec{x}|{|}_{\infty }=\underset{1\le i\le n}{\max }|\alpha x_i|=|\alpha |\underset{1\le i\le n}{\max }|x_i|=|\alpha |\cdot ||\vec{x}|{|}_{\infty }$$
   条件 (3)：
   $$||\vec{x}+\vec{y}|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i+y_i|:=|x_k+y_k|\le |x_k|+|y_k|\le \underset{1\le i\le n}{\max }|x_i|+\underset{1\le i\le n}{\max }|y_i|=||\vec{x}|{|}_{\infty }+||\vec{y}|{|}_{\infty }$$

2. 向量的 1-范数：
   $$||\vec{x}|{|}_1\triangleq \sum _{i=1}^n|x_i|$$
   条件 (1):
   $$||\vec{x}|{|}_1=\sum _{i=1}^n|x_i|\ge 0$$
   上述不等式取等号时，当且仅当
   $$|x_i|=0(i=1,2,\dots ,n)⟺\vec{x}=0$$
   条件 (2)：
   $$||\alpha \vec{x}|{|}_1=\sum _{i=1}^n|\alpha x_i|=|\alpha |\sum _{i=1}^n|x_i|=|\alpha |\cdot ||\vec{x}|{|}_1$$
   条件 (3)：
   $$||\vec{x}+\vec{y}|{|}_1=\sum _{i=1}^n|x_i+y_i|\le \sum _{i=1}^n(|x_i|+|y_i|)=||\vec{x}|{|}_1+||\vec{y}|{|}_1$$

3. 向量的 2-范数（欧氏范数）：
   $$||\vec{x}|{|}_2\triangleq |\vec{x}|=\sqrt{\sum _{i=1}^n{x}_i^2}$$
   条件 (1):
   $$||\vec{x}|{|}_2=|\vec{x}|\ge 0$$
   上述不等式取等号时，当且仅当
   $$\vec{x}=0$$
   条件 (2)：
   $$||\alpha \vec{x}|{|}_2=|\alpha \vec{x}|=|\alpha |\cdot |\vec{x}|=|\alpha |\cdot ||\vec{x}|{|}_2$$
   条件 (3)：
   $$||\vec{x}+\vec{y}|{|}_2=|\vec{x}+\vec{y}|\le |\vec{x}|+|\vec{y}|=||\vec{x}|{|}_2+||\vec{y}|{|}_2$$

4. 向量的 p-范数：
   $$||\vec{x}|{|}_p\triangleq {\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}，p\in [1,\infty )$$
   条件 (1):
   $$||\vec{x}|{|}_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}\ge 0$$
   上述不等式取等号时，当且仅当
   $$|x_i|=0(i=1,2,\dots ,n)⟺\vec{x}=0$$
   条件 (2)：
   $$||\alpha \vec{x}|{|}_p={\left(\sum _{i=1}^n(|\alpha |\cdot |x_i|{)}^p\right)}^{\frac{1}{p}}=|\alpha |{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}=|\alpha |\cdot ||\vec{x}|{|}_p$$
   条件 (3)：
   $$\begin{array}{rl}& \sum _{i=1}^n|x_i+y_i{|}^p\\ & \\ & =\sum _{i=1}^n|x_i+y_i{|}^{p-1}|x_i+y_i|\\ & \\ & \le \sum _{i=1}^n|x_i+y_i{|}^{p-1}(|x_i|+|y_i|)\\ & \\ & =\sum _{i=1}^n|x_i+y_i{|}^{p-1}|x_i|+\sum _{i=1}^n|x_i+y_i{|}^{p-1}|y_i|\\ & \\ & \le {\left[\sum _{i=1}^n|x_i+y_i{|}^{q(p-1)}\right]}^{\frac{1}{q}}{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}+{\left[\sum _{i=1}^n|x_i+y_i{|}^{q(p-1})\right]}^{\frac{1}{q}}{\left(\sum _{i=1}^n|y_i{|}^p\right)}^{\frac{1}{p}}(pq=pq-q;p,q>1)\\ & \\ & =\left[{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}+{\left(\sum _{i=1}^n|y_i{|}^p\right)}^{\frac{1}{p}}\right]{\left[\sum _{i=1}^n|x_i+y_i{|}^{q(p-1)}\right]}^{\frac{1}{q}}\\ & \\ & =\left[{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}+{\left(\sum _{i=1}^n|y_i{|}^p\right)}^{\frac{1}{p}}\right]{\left[\sum _{i=1}^n|x_i+y_i{|}^p\right]}^{\frac{1}{q}}\end{array}$$
   上述证明过程前后应用了绝对值不等式与Holder不等式，进一步：
   $${\left[\sum _{i=1}^n|x_i+y_i{|}^p\right]}^{1-\frac{1}{q}}={\left[\sum _{i=1}^n|x_i+y_i{|}^p\right]}^{\frac{1}{p}}\le \left[{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}+{\left(\sum _{i=1}^n|y_i{|}^p\right)}^{\frac{1}{p}}\right](p>1)$$
   当 $p=1$ 时由1-范数的三角不等式知上述不等式同样成立，综上得证Minkowski不等式（闵可夫斯基不等式）：
   $${\left[\sum _{i=1}^n|x_i+y_i{|}^p\right]}^{\frac{1}{p}}\le \left[{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}+{\left(\sum _{i=1}^n|y_i{|}^p\right)}^{\frac{1}{p}}\right]（p\ge 1）$$
   即，
   $$||\vec{x}+\vec{y}|{|}_p\le ||\vec{x}|{|}_p+||\vec{y}|{|}_p$$

3. 最大范数、1-范数、欧氏范数与p-范数的关系

四者之间的关系：最大范数、1-范数、欧氏范数是p-范数的特殊情况，1-范数、欧氏范数与p-范数的关系根据定义是一目了然的，现在说明 $p=\infty$ 与最大范数之间的关系：
$$||\vec{x}|{|}_{\infty }=\underset{p\to \infty }{\lim }{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}$$
采用夹逼定理求上述极限，由于
$$0\le \underset{1\le i\le n}{\max }|x_i{|}^p\le \sum _{i=1}^n|x_i{|}^p\le n\left(\underset{1\le i\le n}{\max }|x_i{|}^p\right)$$
又
$$\begin{array}{rl}& \underset{p\to \infty }{\lim }{\left(\underset{1\le i\le n}{\max }|x_i{|}^p\right)}^{\frac{1}{p}}=\underset{1\le i\le n}{\max }|x_i|\\ & \\ & \underset{p\to \infty }{\lim }{\left[n\left(\underset{1\le i\le n}{\max }|x_i{|}^p\right)\right]}^{\frac{1}{p}}=\underset{1\le i\le n}{\max }|x_i|\underset{p\to \infty }{\lim }{n}^{\frac{1}{p}}=\underset{1\le i\le n}{\max }|x_i|\end{array}$$
故
$$||\vec{x}|{|}_{\infty }=\underset{p\to \infty }{\lim }{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}=\underset{1\le i\le n}{\max }|x_i|$$

4. 向量范数的等价性

定义 设 ${\mathbb{R}}^n$ 中的向量序列 { x ⃗ ( k ) } \{\vec{x}^{(k)}\} {x (k)}，向量 ${\vec{x}}^{\ast }\in {\mathbb{R}}^n$,若：
$$\underset{k\to \infty }{\lim }{x}_i^{(k)}=x_i^{\ast }(i=1,2,\dots ,n)$$
则称 { x ⃗ ( k ) } \{\vec{x}^{(k)}\} {x (k)}收敛于${\vec{x}}^{\ast }$，记作：
$$\underset{k\to \infty }{\lim }{\vec{x}}^{(k)}={\vec{x}}^{\ast }$$

引理
$$\underset{k\to \infty }{\lim }{\vec{x}}^{(k)}={\vec{x}}^{\ast }⟺\underset{k\to \infty }{\lim }||{\vec{x}}^{(k)}-{\vec{x}}^{\ast }||=0$$

定理 向量范数是向量的连续实值函数

证明：选定线性空间的基 ${\vec{e}}_i(i=1,2,\dots ,n)$，则：
$$0\le |||\vec{x}||-||\vec{y}|||\le ||\vec{x}-\vec{y}||=||\sum _{i=1}^n(x_i-y_i){\vec{e}}_i||\le \sum _{i=1}^n|x_i-y_i|\cdot ||{\vec{e}}_i||\le ||\vec{x}-\vec{y}|{|}_{\infty }\sum _{i=1}^n||{\vec{e}}_i||$$
故
$$\underset{\vec{x}\to \vec{y}}{\lim }(||\vec{x}||-||\vec{y}||)=0(证毕)$$

定义 设 $||\vec{x}|{|}_a$ 与 $||\vec{x}|{|}_b$ 为 ${\mathbb{R}}^n$ 上的任意两种范数，若存在正常数 $c_1,c_2$ 使得
$$\forall \vec{x}\in {\mathbb{R}}^n,c_1||\vec{x}|{|}_a\le ||\vec{x}|{|}_b\le c_2||\vec{x}|{|}_a$$
则称 $||\vec{x}|{|}_a$ 与 $||\vec{x}|{|}_b$等价。

引理 范数的等价具有传递性。

证明：若$||\vec{x}|{|}_a$ 与 $||\vec{x}|{|}_b$等价且$||\vec{x}|{|}_b$ 与 $||\vec{x}|{|}_c$等价，则
$$\forall \vec{x}\in {\mathbb{R}}^n,\{\begin{array}{l}{c}_1||\vec{x}|{|}_b\le ||\vec{x}|{|}_a\le c_2||\vec{x}|{|}_b\\ \\ c_3||\vec{x}|{|}_c\le ||\vec{x}|{|}_b\le c_4||\vec{x}|{|}_c\end{array},其中c_1、c_2、c_3、c_4\in \mathbb{R}$$
那么，
$$c_1{c}_3||\vec{x}|{|}_c\le ||\vec{x}|{|}_a\le c_2{c}_4||\vec{x}|{|}_c$$
故 $||\vec{x}|{|}_a$ 与 $||\vec{x}|{|}_c$等价。

定理 任意两个向量范数等价。

证明：

当 $\vec{x}=\vec{0}$ 时，显然任意范数等价。

当 $\vec{x}\ne \vec{0}$ 时，考虑集合 S = { x ⃗ ∣   ∣ ∣ x ⃗ ∣ ∣ ∞ = 1 } S=\{\vec{x}|\ ||\vec{x}||_{\infty}=1\} S={x ∣ ∣∣x ∣∣∞​=1}(超立方体表面，有界闭集)，并且任意向量均可通过归一化映射为S的元素，即
$$\forall \vec{x}\in {\mathbb{R}}^n,\frac{\vec{x}}{||\vec{x}|{|}_{\infty }}\in S$$
定义函数：
$$f(\vec{x})=\left|\left|\frac{\vec{x}}{||\vec{x}|{|}_{\infty }}\right|\right|$$
由于$f(x)$是S上的连续函数，故有界，同时根据范数的正定性有：
$$0<c_1<\left|\left|\frac{\vec{x}}{||\vec{x}|{|}_{\infty }}\right|\right|<c_2$$
那么
$$c_1||\vec{x}|{|}_{\infty }<||\vec{x}||<c_2||\vec{x}|{|}_{\infty }$$
这说明任何向量范数均与最大范数等价，进一步根据向量范数等价的传递性知任意两个向量范数等价。

5. 几个常用向量范数之间的等价关系

• 欧式范数与1-范数：
  $$||\vec{x}|{|}_2\le ||\vec{x}|{|}_1\le \sqrt{N}||\vec{x}|{|}_2，\vec{x}\in {\mathbb{R}}^N$$
  证明：
  $$||\vec{x}|{|}_2^2=x_1^2+x_2^2+\cdots +x_N^2\le (|x_1|+|x_2|+\cdots +|x_N|{)}^2=||\vec{x}|{|}_1^2$$
  即，
  $$||\vec{x}|{|}_2\le ||\vec{x}|{|}_1$$
  又
  $$|x_1|+|x_2|+\cdots +|x_N|=c_1{x}_1+c_2{x}_2+\cdots +c_N{x}_N={\vec{c}}^T\vec{x}$$
  其中
  $$c_i=\{\begin{array}{ll}-1& (x_i<0)\\ & \\ 1& (x_i>0)\end{array}$$
  由 Cauchy-Bunjakovski 不等式（Cauchy–Schwarz 不等式）：
  $$|x_1|+|x_2|+\cdots +|x_N|=|{\vec{c}}^T\vec{x}|\le |{\vec{c}}^T|\cdot |\vec{x}|=\sqrt{N}||\vec{x}|{|}_2（证毕）$$
• 最大范数与欧式范数：
  $$||\vec{x}|{|}_{\infty }\le ||\vec{x}|{|}_2\le \sqrt{N}||\vec{x}|{|}_{\infty }，\vec{x}\in {\mathbb{R}}^N$$
  证明：
  $$\underset{1\le i\le N}{\max }|x_i|=\sqrt{{\left(\underset{1\le i\le N}{\max }|x_i|\right)}^2}\le \sqrt{|x_1{|}^2+|x_2{|}^2+\cdots +|x_N{|}^2}\le \sqrt{N{\left(\underset{1\le i\le N}{\max }|x_i|\right)}^2}$$
  （证毕）
• 最大范数与1-范数：
  $$||\vec{x}|{|}_{\infty }\le ||\vec{x}|{|}_1\le N||\vec{x}|{|}_{\infty }，\vec{x}\in {\mathbb{R}}^N$$
  通过欧式范数与1-范数、欧式范数与最大范数间的关系可知其正确性。