矩阵和向量的范式(Norms for Vectors and Matrices)

矩阵和向量的范式(Norms for Vectors and Matrices)

1 内积和范式的定义(Definitions of norms and inner product)

向量范式的定义(vector norm)

定义 1.1. 令 $V$ 是定义在场 $\mathbf{F}$($\mathbf{F}=\mathbf{R}$ 或者 $\mathbf{C}$，即实数域或者是复数域)上的向量空间。 如果对于任意的$x,y\in V$ 和 $c\in \mathbf{F}$都满足下面几个条件，则称函数 $\Vert \cdot \Vert :V\to \mathbf{R}$ 是一个范式 (有时被称为向量范式vector norm)。
$$\begin{array}{rlr}& \text{(1)}\Vert x\Vert \ge 0& \text{Nonnegativity（非负）}\\ & \text{(1a)}\Vert x\Vert =0\text{ if and only if }x=0& \text{Positivity（永正）}\\ & \text{(2)}\Vert cx\Vert =|c|\Vert x\Vert & \text{Homogeneity（同质）}\\ & \text{(3)}\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert & \text{Triangle Inequality（三角不等）}\end{array}$$

Positivity(1a)和Homogeneity(2)保证了对于任意非零向量$x$，可以正则化到单位向量 $u=\frac{x}{\Vert x\Vert }$。

只满足(1),(2),(3)而不满足(1a)的范式称为半范式(seminorm)，(1a)保证了只有零向量的范式才是0，非零向量的范式都大于0，而一个非零向量的半范式可以是0。

引理 1.2. $\Vert \cdot \Vert$是定义在实数域或者复数域向量空间 $V$ 上的半范式, 则对于任意 $x,y\in V$，有 $ | |x| − |y|| \le |x − y|$

Proof. 也就是证明$\pm (\Vert x\Vert -\Vert y\Vert )\le \Vert x-y\Vert$
$$\begin{gathered} \Vert x\Vert =\Vert x-y+y\Vert \le \Vert x-y\Vert +\Vert y\Vert \\ \Rightarrow \Vert x-y\Vert \ge \Vert x\Vert -\Vert y\Vert \\ \Vert y\Vert =\Vert y-x+x\Vert \le \Vert y-x\Vert +\Vert x\Vert =\Vert x-y\Vert +\Vert x\Vert \\ \Rightarrow \Vert x-y\Vert \ge \Vert y\Vert -\Vert x\Vert \end{gathered}$$

内积定义(inner product)

定义 1.3. 令 $V$ 是定义在场 $\mathbf{F}$($\mathbf{F}=\mathbf{R}$ or $\mathbf{C}$)上的向量空间。 如果对于任意 $x,y,z\in V$ 和 $c\in \mathbf{F}$，函数 $⟨\cdot ,\cdot ⟩:V\times V\to \mathbf{F}$ 满足下列条件，则它是一个内积(inner product)
$$\begin{array}{rlr}& \text{(1)}⟨x,x⟩\ge 0& \text{Nonnegativity（非负）}\\ & \text{(1a)}⟨x,x⟩=0\text{ if and only if }x=0& \text{Positivity（永正）}\\ & \text{(2)}⟨x+y,z⟩=⟨x,z⟩+⟨y,z⟩& \text{Additivity（加法）}\\ & \text{(3)}⟨cx,y⟩=c⟨x,y⟩& \text{Homogeneity（同质）}\\ & & \\ & \text{(4)}⟨x,y⟩=\overline{⟨y,x⟩}& \text{Hermitian Property（共轭对称性）}\end{array}$$
只满足(1), (2), (3), (4)而不满足(1a)的称为semi-inner product。

柯西施瓦茨不等式

定理 1.4(Cauchy-Shwarz inequality). $⟨\cdot ,\cdot ⟩$是定义在向量空间$V$ 上的内积，则对于任意$x,y\in V$
$${\left|⟨x,y⟩\right|}^2\le ⟨x,x⟩⟨y,y⟩$$
当且仅当(if and only if) x 和 y 线性相关(linearly dependent)，不等式取等号。

标量形式表示为$({\sum }_{i=1}^n{x}_i{y}_i{)}^2\le ({\sum }_{i=1}^n{x}_i^2)({\sum }_{i=1}^n{y}_i^2)$

Proof. 令$x,y\in V$，若$x=y=0$，则不等式显然成立，所以假设其中一个是非零向量，不失一般性，假设$y\ne 0$，令$v=⟨y,y⟩x-⟨x,y⟩y$，有：
$$\begin{gathered} 0\le ⟨v,v⟩=⟨⟨y,y⟩x-⟨x,y⟩y,⟨y,y⟩x-⟨x,y⟩y⟩ \\ ={⟨y,y⟩}^2⟨x,x⟩-⟨y,y⟩\overline{⟨x,y⟩}⟨x,y⟩-⟨x,y⟩⟨y,x⟩⟨y,y⟩+⟨y,y⟩\overline{⟨x,y⟩}⟨x,y⟩ \\ ={⟨y,y⟩}^2⟨x,x⟩-⟨y,y⟩{\left|⟨x,y⟩\right|}^2 \\ =⟨y,y⟩(⟨x,x⟩⟨y,y⟩-{\left|⟨x,y⟩\right|}^2) \end{gathered}$$
因为$y\ne 0$，即$⟨y,y⟩>0$，则推出$⟨x,x⟩⟨y,y⟩-{\left|⟨x,y⟩\right|}^2\ge 0$，只有当$v=0$的时候，等式成立，即$v=⟨y,y⟩x-⟨x,y⟩y=0$，也就是说$x$和$y$线性依赖。

推论 1.5. 如果 $⟨\cdot ,\cdot ⟩$ 是定义在实数或者复数域向量空间 $V$ 上的内积，则函数 $\Vert \cdot \Vert :V\to [0,\infty )$， $\Vert x\Vert ={⟨x,x⟩}^{1/2}$ 是向量空间 $V$ 上的一个范式。这样的范式(norm)被称为从内积获得(derived from an inner product)。

---

2 向量的范式

$l_1\text{-morm}$

${\mathbf{C}}^n$上的和范式(sum norm)，也叫l1-范式(l1-norm)，定义如下:
$$\Vert x{\Vert }_1=|x_1|+\cdots +|x_n|$$
通常也被称为曼哈顿范式(Manhattan norm)。

$l_2\text{-morm}$

一个向量$x=[x_1,...,x_n{]}^T\in {\mathbf{C}}^n$的欧几里得范式(Euclidean norm)，也叫l2范式(l2-norm)，定义如下：
$$\Vert x{\Vert }_2=(|x_1{|}^2+\cdots +|x_n{|}^2{)}^{1/2}$$
经常使用$\Vert x-y{\Vert }_2$来衡量两个点$x,y\in {\mathbf{C}}^n$的欧几里得距离(Euclidean distance)。

$l_{\infty }\text{-morm}$

${\mathbf{C}}^n$上的max norm($l_{\infty }$-norm)为：
∥ x ∥ ∞ = max ⁡ { ∣ x 1 ∣ , ⋯   , ∣ x n ∣ } \|x\|_\infty= \max \{|x_1|,\cdots,|x_n| \} ∥x∥∞​=max{∣x1​∣,⋯,∣xn​∣}
一般的，${\mathbf{C}}^n$上的$l_p$-norm定义为：
$$\Vert x{\Vert }_p=(|x_1{|}^p+\cdots +|x_n{|}^p{)}^{1/p},p\ge 1$$

以二维向量$\mathbf{v}=(v_1,v_2)$举例，范式的值恰好为1的图像如下，其中横轴代表$v_1$，纵轴代表$v_2$

l1范式，即$\Vert v{\Vert }_1=|v_1|+|v_2|=1$

l2范式，即$\Vert v{\Vert }_2=\sqrt{|v_1{|}^2+|v_2{|}^2}=1$

Infinity范式，即 ∥ v ∥ ∞ = max ⁡ { ∣ v 1 ∣ , ∣ v 2 ∣ } = 1 \|v\|_\infty= \max \{|v_1|,|v_2| \}=1 ∥v∥∞​=max{∣v1​∣,∣v2​∣}=1

---