Lecture 8:Norms of Vectors and Matrices

矩阵和向量的范式(Norms for Vectors and Matrices)

---

1 Vector Norms

p	Form
1	$\Vert v{\Vert }_1=|v_1|+\cdots +|v_n|$
2	$\Vert v{\Vert }_2=\sqrt{|v_1{|}^2+\cdots +|v_n{|}^2}$
$\infty$	∥ v ∥ ∞ = max ⁡ { ∣ v 1 ∣ , ⋯   , ∣ v n ∣ } \|v\|_\infty= \max \{\vert v_1 \vert ,\cdots, \vert v_n \vert \} ∥v∥∞​=max{∣v1​∣,⋯,∣vn​∣}
0	$\Vert v{\Vert }_0=\text{number of non-zero componnets}$
S	$\Vert v{\Vert }_S=\sqrt{v^{T}Sv}$

l1-norm

${\mathbf{C}}^n$上的和范式(sum norm)，也叫l1-范式(l1-norm)，定义如下:
$$\Vert v{\Vert }_1=|v_1|+\cdots +|v_n|$$
通常也被称为曼哈顿范式(Manhattan norm)。

l2-norm

一个向量$v=[v_1,...,v_n{]}^T\in {\mathbf{C}}^n$的欧几里得范式(Euclidean norm)，也叫l2范式(l2-norm)，定义如下：
$$\Vert v{\Vert }_2=(|v_1{|}^2+\cdots +|v_n{|}^2{)}^{1/2}$$
经常使用$\Vert x-y{\Vert }_2$来衡量两个点$x,y\in {\mathbf{C}}^n$的欧几里得距离(Euclidean distance)。

infinity-norm

${\mathbf{C}}^n$上的max norm($l_{\infty }$-norm)为：
∥ v ∥ ∞ = max ⁡ { ∣ v 1 ∣ , ⋯   , ∣ v n ∣ } \|v\|_\infty= \max \{|v_1|,\cdots,|v_n| \} ∥v∥∞​=max{∣v1​∣,⋯,∣vn​∣}

0-norm

${\mathbf{C}}^n$上的$l_0$-norm为非零部分的个数。
$$\Vert v{\Vert }_0=\text{number of non-zeros}$$

S-norm

S为对称正定矩阵(symmetric positive definite)，例如$S=\left(\begin{array}{cc}2& 0\\ 0& 3\end{array}\right)$，$\Vert v{\Vert }_S=\sqrt{{\mathbf{v}}^{T}S\mathbf{v}}=\sqrt{2v_1^2+3v_2^2}$

一般的，${\mathbf{C}}^n$上的$l_p$-norm定义为：
$$\Vert v{\Vert }_p=(|v_1{|}^p+\cdots +|v_n{|}^p{)}^{1/p},p\ge 1$$

以二维向量$\mathbf{v}=(v_1,v_2)$举例，范式的值恰好为1的图像如下，其中横轴代表$v_1$，纵轴代表$v_2$

l1范式，即$\Vert v{\Vert }_1=|v_1|+|v_2|=1$

l2范式，即$\Vert v{\Vert }_2=\sqrt{|v_1{|}^2+|v_2{|}^2}=1$

Infinity范式，即 ∥ v ∥ ∞ = max ⁡ { ∣ v 1 ∣ , ∣ v 2 ∣ } = 1 \|v\|_\infty= \max \{|v_1|,|v_2| \}=1 ∥v∥∞​=max{∣v1​∣,∣v2​∣}=1

0范式，即$\Vert v{\Vert }_0=\text{number of non-zeros}=1$

S范式，还是上面那个例子，$\Vert v{\Vert }_S=\sqrt{{\mathbf{v}}^{T}S\mathbf{v}}=\sqrt{2v_1^2+3v_2^2}=1$，即$2v_1^2+3v_2^2=1$，结果是一个椭圆

所以对满足前提条件下，最小化一个向量的范式的问题如下，这里举例最小化l1范式和l2范式，令$\mathbf{x}=[x_1,x_2{]}^T\in {\mathbb{R}}^2$
$$\begin{gathered} \text{min }\Vert x{\Vert }_1\text{ or }\Vert x{\Vert }_1 \\ \text{subject to: }{c}_1{x}_1+c_2{x}_2=b \end{gathered}$$

---

2 Matrix norms

p	Form
2	$\Vert A{\Vert }_2={\sigma }_1$
Frobenius	$\Vert A{\Vert }_F=\sqrt{{\sum }_{i,j=1}^n|a_{ij}{|}^2}=\sqrt{{\sigma }_1^2+\cdots +{\sigma }_n^2}$
Nuclear	$\Vert A{\Vert }_N={\sigma }_1+\cdots +{\sigma }_r$