深度学习之范数

范数

🏷subsec_lin-algebra-norms

线性代数中最有用的一些运算符是范数（norm）。
非正式地说，向量的范数是表示一个向量有多大。
这里考虑的大小（size）概念不涉及维度，而是分量的大小。

在线性代数中，向量范数是将向量映射到标量的函数$f$。
给定任意向量$\mathbf{x}$，向量范数要满足一些属性。
第一个性质是：如果我们按常数因子$\alpha$缩放向量的所有元素，
其范数也会按相同常数因子的绝对值缩放：

$$f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x}).$$

第二个性质是熟悉的三角不等式:

$$f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y}).$$

第三个性质简单地说范数必须是非负的:

$$f(\mathbf{x})\ge 0.$$

这是有道理的。因为在大多数情况下，任何东西的最小的大小是0。
最后一个性质要求范数最小为0，当且仅当向量全由0组成。

$$\forall i,[\mathbf{x}{]}_i=0\iff f(\mathbf{x})=0.$$

范数听起来很像距离的度量。
欧几里得距离和毕达哥拉斯定理中的非负性概念和三角不等式可能会给出一些启发。
事实上，欧几里得距离是一个$L_2$范数：
假设$n$维向量$\mathbf{x}$中的元素是$x_1,\dots ,x_n$，其[$L_2$范数是向量元素平方和的平方根：]

($$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2},$$)

其中，在$L_2$范数中常常省略下标$2$，也就是说$\Vert \mathbf{x}\Vert$等同于$\Vert \mathbf{x}{\Vert }_2$。
在代码中，我们可以按如下方式计算向量的$L_2$范数。

u = torch.tensor([3.0, -4.0])
torch.norm(u)

tensor(5.)

深度学习中更经常地使用$L_2$范数的平方，也会经常遇到[$L_1$范数，它表示为向量元素的绝对值之和：]

($$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n\left|x_i\right|.$$)

与$L_2$范数相比，$L_1$范数受异常值的影响较小。
为了计算$L_1$范数，我们将绝对值函数和按元素求和组合起来。

torch.abs(u).sum()

tensor(7.)

$L_2$范数和$L_1$范数都是更一般的$L_p$范数的特例：

$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{1/p}.$$

类似于向量的$L_2$范数，[矩阵]$\mathbf{X}\in {\mathbb{R}}^{m\times n}$(的Frobenius范数（Frobenius norm）是矩阵元素平方和的平方根：)

($$\Vert \mathbf{X}{\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{x}_{ij}^2}.$$)

Frobenius范数满足向量范数的所有性质，它就像是矩阵形向量的$L_2$范数。
调用以下函数将计算矩阵的Frobenius范数。

torch.norm(torch.ones((4, 9)))

tensor(6.)