数学表达式: 从恐惧到单挑 (6. 向量/矩阵的范数)

6. 向量/矩阵的范数

向量可以看作是 $1\times n$ 矩阵, 但从数学的角度, 其范数的意义不同, 所以不可以将向量范数直接扩充用于矩阵范数.

6.1 向量的 $l_p$ 范数

给定向量 $\mathbf{x}=[x_1,\dots ,x_n]$.
$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}\text{\hspace{1em}(1)}$$
源码: \Vert \mathbf{x} \Vert_p = \left(\sum_{i = 1}^n \vert x \vert^p\right){\frac{1}{p}} \tag{1}
如果是在 Latex 环境下, 应把 \Vert 换成 \|.

6.1.1 $l_0$ 范数

∥ x ∥ 0 = ∣ { 1 ≤ i ≤ n ∣ x i ≠ 0 } ∣ (2) \Vert \mathbf{x} \Vert_0 = \vert \{1 \le i \le n \vert x_i \ne 0\} \vert \tag{2} ∥x∥0​=∣{1≤i≤n∣xi​=0}∣(2)
语义: 非零项个数.

6.1.2 $l_1$ 范数

当 $p=1$ 时
$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n|x_i|\text{\hspace{1em}(3)}$$
语义: 绝对值之和.
常用于计算绝对误差.

6.1.3 $l_2$ 范数

当 $p=2$ 时
$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}\text{\hspace{1em}(4)}$$

$$\Vert \mathbf{x}{\Vert }_2^2=\sum _{i=1}^n{x}_i^2\text{\hspace{1em}(5)}$$
语义: 平方和.
常用于计算平方误差.

6.1.4 $l_{\infty }$ 范数

$$\Vert \mathbf{x}{\Vert }_{\infty }=\underset{1\le i\le n}{\max }|x_i|\text{\hspace{1em}(6)}$$
源码: \Vert \mathbf{x} \Vert_{\infty} = \max_{1 \le i \le n} \vert x_i \vert.
infty 是 infinity 的简写.
语义: 绝大值的最大值.

6.2 矩阵的范数

给定矩阵 $\mathbf{X}=[x_{ij}{]}_{n\times m}$.

6.2.1 Fro 范数

$$\Vert \mathbf{X}{\Vert }_F=\sqrt{\sum _{i,j}{x}_{ij}^2}\text{\hspace{1em}(7)}$$
经常取其平方, 即
$$\Vert \mathbf{X}{\Vert }_F^2=\sum _{i,j}{x}_{ij}^2\text{\hspace{1em}(8)}$$
这有直接将向量 $l_2$ 范数进行扩充的意思.
注意: 这里忽略了 $i,j$ 的范围, 就表示用最大可能范围.

6.2.3 $l_{2,1}$ 范数

对每个行向量求 $l_2$ 范数, 获得一个列向量. 再对该列向量取 $l_1$ 范数.
$$\Vert \mathbf{X}{\Vert }_{2,1}=\sum _i\sqrt{\sum _j{x}_{ij}^2}\text{\hspace{1em}(9)}$$
注意:

1. 这里使用向量范数定义矩阵范数, 而不是直接扩充到矩阵.
2. $\Vert \mathbf{X}{\Vert }_F^2$ 相当于先求行向量的 $l_2$ 范数平方, 再求列向量的 $l_1$ 范数, 即:
   $$\Vert \mathbf{X}{\Vert }_F^2=\sum _i\Vert {\mathbf{x}}_i{\Vert }_2^2\text{\hspace{1em}(10)}$$

6.2.3 实际应用

线性模型经常使用系数矩阵 $W$ 的 $l_{2,1}$ 范数作为正则项.
$$\underset{\mathbf{W}}{\min }\Vert \mathbf{XW}-\mathbf{Y}{\Vert }_F^2+\lambda \Vert \mathbf{W}{\Vert }_{2,1}\text{\hspace{1em}(11)}$$

6.3 作业

自己给定一个向量、一个矩阵并计算其各种范数.