Norms for Vectors and Matrices

矩阵和向量的范式(Norms for Vectors and Matrices)

1 内积和范式的定义(Definitions of norms and inner product)

向量范式的定义(vector norm)

定义 1.1. 令 $V$ 是定义在场 $\mathbf{F}$($\mathbf{F}=\mathbf{R}$ 或者 $\mathbf{C}$，即实数域或者是复数域)上的向量空间。 如果对于任意的$x,y\in V$ 和 $c\in \mathbf{F}$都满足下面几个条件，则称函数 $\Vert \cdot \Vert :V\to \mathbf{R}$ 是一个范式 (有时被称为向量范式vector norm)。
$$\begin{array}{rlr}& \text{(1)}\Vert x\Vert \ge 0& \text{Nonnegativity（非负）}\\ & \text{(1a)}\Vert x\Vert =0\text{ if and only if }x=0& \text{Positivity（永正）}\\ & \text{(2)}\Vert cx\Vert =|c|\Vert x\Vert & \text{Homogeneity（同质）}\\ & \text{(3)}\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert & \text{Triangle Inequality（三角不等）}\end{array}$$

Positivity(1a)和Homogeneity(2)保证了对于任意非零向量$x$，可以正则化到单位向量 $u=\frac{x}{\Vert x\Vert }$。

只满足(1),(2),(3)而不满足(1a)的范式称为半范式(seminorm)，(1a)保证了只有零向量的范式才是0，非零向量的范式都大于0，而一个非零向量的半范式可以是0。

引理 1.2. $\Vert \cdot \Vert$是定义在实数域或者复数域向量空间 $V$ 上的半范式, 则对于任意 $x,y\in V$，有 $ | |x| − |y|| \le |x − y|$

Proof. 也就是证明$\pm (\Vert x\Vert -\Vert y\Vert )\le \Vert x-y\Vert$
$$\begin{gathered} \Vert x\Vert =\Vert x-y+y\Vert \le \Vert x-y\Vert +\Vert y\Vert \\ \Rightarrow \Vert x-y\Vert \ge \Vert x\Vert -\Vert y\Vert \\ \Vert y\Vert =\Vert y-x+x\Vert \le \Vert y-x\Vert +\Vert x\Vert =\Vert x-y\Vert +\Vert x\Vert \\ \Rightarrow \Vert x-y\Vert \ge \Vert y\Vert -\Vert x\Vert \end{gathered}$$

内积定义(inner product)

定义 1.3. 令 $V$ 是定义在场 $\mathbf{F}$($\mathbf{F}=\mathbf{R}$ or $\mathbf{C}$)上的向量空间。 如果对于任意 $x,y,z\in V$ 和 $c\in \mathbf{F}$，函数 $⟨\cdot ,\cdot ⟩:V\times V\to \mathbf{F}$ 满足下列条件，则它是一个内积(inner product)
$$
\begin{aligned}
&\text{(1)} \left< x,x \right> \ge 0\ \qquad &\text{Nonnegativity（非负）}\
&\text{(1a)} \left< x,x \right> = 0 \text{ if and only if }x=0 \qquad &\text{Positivity（永正）}\
&\text{(2)} \left< x+y,z \right> = \left< x,z \right>+\left< y,z \right> \qquad &\text{Additivity（加法）} \
&\text{(3)} \left< cx,y \right> = c\left< x,y \right> \qquad &\text{Homogeneity（同质）} \
&\text{(4)} \left< x,y \right> = \overline{\left< y,x \right>} \qquad &\text{Hermitian Property（共轭对称性）} \

\end{aligned}
$$
只满足(1), (2), (3), (4)而不满足(1a)的称为semi-inner product。

柯西施瓦茨不等式

定理 1.4(Cauchy-Shwarz inequality). $⟨\cdot ,\cdot ⟩$是定义在向量空间$V$ 上的内积，则对于任意$x,y\in V$
$${\left|⟨x,y⟩\right|}^2\le ⟨x,x⟩⟨y,y⟩$$
当且仅当(if and only if) x 和 y 线性相关(linearly dependent)，不等式取等号。

标量形式表示为$({\sum }_{i=1}^n{x}_i{y}_i{)}^2\le ({\sum }_{i=1}^n{x}_i^2)({\sum }_{i=1}^n{y}_i^2)$

Proof. 令$x,y\in V$，若$x=y=0$，则不等式显然成立，所以假设其中一个是非零向量，不失一般性，假设$y\ne 0$，令$v=⟨y,y⟩x-⟨x,y⟩y$，有：
$$\begin{gathered} 0\le ⟨v,v⟩=⟨⟨y,y⟩x-⟨x,y⟩y,⟨y,y⟩x-⟨x,y⟩y⟩ \\ ={⟨y,y⟩}^2⟨x,x⟩-⟨y,y⟩\overline{⟨x,y⟩}⟨x,y⟩-⟨x,y⟩⟨y,x⟩⟨y,y⟩+⟨y,y⟩\overline{⟨x,y⟩}⟨x,y⟩ \\ ={⟨y,y⟩}^2⟨x,x⟩-⟨y,y⟩{\left|⟨x,y⟩\right|}^2 \\ =⟨y,y⟩(⟨x,x⟩⟨y,y⟩-{\left|⟨x,y⟩\right|}^2) \end{gathered}$$
因为$y\ne 0$，即$⟨y,y⟩>0$，则推出$⟨x,x⟩⟨y,y⟩-{\left|⟨x,y⟩\right|}^2\ge 0$，只有当$v=0$的时候，等式成立，即$v=⟨y,y⟩x-⟨x,y⟩y=0$，也就是说$x$和$y$线性依赖。

推论 1.5. 如果 $⟨\cdot ,\cdot ⟩$ 是定义在实数或者复数域向量空间 $V$ 上的内积，则函数 $\Vert \cdot \Vert :V\to [0,\infty )$， $\Vert x\Vert ={⟨x,x⟩}^{1/2}$ 是向量空间 $V$ 上的一个范式。这样的范式(norm)被称为从内积获得(derived from an inner product)。

---

2 向量的范式

$l_1\text{-morm}$

${\mathbf{C}}^n$上的和范式(sum norm)，也叫l1-范式(l1-norm)，定义如下:
$$\Vert x{\Vert }_1=|x_1|+\cdots +|x_n|$$
通常也被称为曼哈顿范式(Manhattan norm)。

$l_2\text{-morm}$

一个向量$x=[x_1,...,x_n{]}^T\in {\mathbf{C}}^n$的欧几里得范式(Euclidean norm)，也叫l2范式(l2-norm)，定义如下：
$$\Vert x{\Vert }_2=(|x_1{|}^2+\cdots +|x_n{|}^2{)}^{1/2}$$
经常使用$\Vert x-y{\Vert }_2$来衡量两个点$x,y\in {\mathbf{C}}^n$的欧几里得距离(Euclidean distance)。

$l_{\infty }\text{-morm}$

${\mathbf{C}}^n$上的max norm($l_{\infty }$-norm)为：
∥ x ∥ ∞ = max ⁡ { ∣ x 1 ∣ , ⋯   , ∣ x n ∣ } \|x\|_\infty= \max \{|x_1|,\cdots,|x_n| \} ∥x∥∞​=max{∣x1​∣,⋯,∣xn​∣}
一般的，${\mathbf{C}}^n$上的$l_p$-norm定义为：
$$\Vert x{\Vert }_p=(|x_1{|}^p+\cdots +|x_n{|}^p{)}^{1/p},p\ge 1$$

以二维向量$\mathbf{v}=(v_1,v_2)$举例，范式的值恰好为1的图像如下，其中横轴代表$v_1$，纵轴代表$v_2$

l1范式，即$\Vert v{\Vert }_1=|v_1|+|v_2|=1$

l2范式，即$\Vert v{\Vert }_2=\sqrt{|v_1{|}^2+|v_2{|}^2}=1$

Infinity范式，即 ∥ v ∥ ∞ = max ⁡ { ∣ v 1 ∣ , ∣ v 2 ∣ } = 1 \|v\|_\infty= \max \{|v_1|,|v_2| \}=1 ∥v∥∞​=max{∣v1​∣,∣v2​∣}=1

${\mathbf{C}}^n$上的k-norms，融合max norm和sum norm，即选k个最大的：
$$\Vert x{\Vert }_{[k]}=|x_{i_1}|,\cdots ,|x_{i_k}|,\text{in which }|x_{i_1}|\ge \cdots \ge |x_{i_k}|$$

Let $S\in M_{m,n}$ have full column rank, so $m\ge n$ .Let $\Vert \cdot \Vert$ be a given norm on $C^m$ and define
$$\Vert x{\Vert }_S=\Vert Sx\Vert$$
for $x\in C^n$.Then $\Vert \cdot {\Vert }_S$ is a norm on $C^n$.

Consider the complex vector space $V=M_{m,n}$ with the Frobenius inner product:
$$⟨A,B{⟩}_F=tr{B}^{\ast }A$$

The norm derived from the Frobenius inner product is the l2-norm(Frobenius norm) on $M_{m,n}:\Vert A{\Vert }_2=(tr{A}^{\ast }A{)}^{1/2}$

---

6 Matrix norms

矩阵范式(matrix norm)定义如下：

A function $|\Vert \cdot \Vert |$ : $M_n\to R$ is a matrix norm if, for all $A,B\in M_n$, it satisfies the following five axioms:
( 1 ) ∣ ∥ A ∥ ∣ ≥ 0 ( 1 a ) ∣ ∥ A ∥ ∣ = 0  if and only if  A = 0 ( 2 ) ∣ ∥ c A ∥ ∣ = ∣ c ∣ ∣ ∥ A ∥ ∣  for all  c ∈ C ( 3 ) ∣ ∥ A + B ∥ ∣ ≤ ∣ ∥ A ∥ ∣ + ∣ ∥ B ∥ ∣ ( 4 ) ∣ ∥ A B ∥ ∣ ≤ ∣ ∥ A ∥ ∣ ∣ ∥ B ∥ ∣ \begin{aligned} &(1)\quad | \| A \| | \ge 0 \\ &(1a)\quad | \| A \| | = 0 \text{ if and only if } A = 0 \\ &(2) \quad| \| cA \| | = |c| | \| A \| | \text{ for all } c \in C \\ &(3)\quad | \| A+B \| | \le | \| A \| | + | \| B \| | \\ &(4)\quad | \| AB \| | \le | \| A \| | | \| B \| | \\ \end{aligned} ​(1)∣∥A∥∣≥0(1a)∣∥A∥∣=0 if and only if A=0(2)∣∥cA∥∣=∣c∣∣∥A∥∣ for all c∈C(3)∣∥A+B∥∣≤∣∥A∥∣+∣∥B∥∣(4)∣∥AB∥∣≤∣∥A∥∣∣∥B∥∣​

matrix norm有时被称为ring norm， 可以看出前四个属性的定义和norm的一样，矩阵范式多了(4)。如果只满足前四个而不满足(4)，则称之为vector norm on matrices, 有时也称为generalized matrix norm。

由性质(4)，$|\Vert A^2\Vert |\le |\Vert A\Vert ||\Vert A\Vert |\le |\Vert A\Vert {|}^2$，若$A^2=A$，则有$|\Vert A\Vert |\ge 1$。所以可推出$|\Vert I\Vert |\ge 1$，若A是非奇异矩阵(non-singular)，有$I=A^{-1}A$，$\quad | | I| | \le | | A^{-1} | | \cdot | | A | | $，可以获得一个下界，$| | A^{-1} | | \ge \frac{| | I| |}{| | A | |}$ ,

$l_1$-norm

对于矩阵$A\in M_n$，它的$l_1$-norm定义为，
$$\Vert A{\Vert }_1=\sum _{i,j=1}^n|a_{ij}|$$

$l_2$-norm (Frobenius norm, Schur norm, or Hilbert–Schmidt norm)

$$\Vert A{\Vert }_2=|trA{A}^{\ast }{|}^{1/2}={\left(\sum _{i,j=1}^n|a_{ij}{|}^2\right)}^{1/2}$$

---

7 Vector norms on matrices

---