8.5 范数

　　在机器学习中，我们经常使用被称为范数（norm）的函数衡量向量大小。形式上，$L^p$范数的定义如下：

$$||x||_p=(\sum_i|x_i|^p)^{\frac{1}{p}}$$
其中 $p\in \mathbb R$， $p \ge 1$。
　　范数（包括 $L^p$范数）是将向量映射到非负值的函数。直观上说，向量 $x$的范数衡量从原点到点$x$的距离。更严格地说，范数是满足下列性质的任意函数：
$$\begin{align} &f(x)=0 \Rightarrow x=0\\ &f(x+y) \ge f(x)+f(y)（三角不等式）\\ &\forall \alpha \in \mathbb R,f(\alpha x)=|\alpha|f(x) \end{align}$$
　　当p=2时， $L^2$范数被称为 欧几里得范数(Euclidean norm)。它表示从原点出发到向量 $x$确定的点的欧几里得距离。$L^2$范数在机器学习中出现地十分频繁，经常简化为 $||x||$，略去下标2。平方 $L^2$范数也经常用来衡量向量的大小，可以简单地通过点积 $X^\mathrm{T}X$计算。
　　平方 $L^2$范数在数学和计算上都比 $L^2$范数本身更方便。例如，平方 $L^2$范数对 $x$中每个元素的导数只取决于对应的元素，而$L^2$范数对每个元素的导数却和整个向量相关。但是在很多情况下，平方 $L^2$范数也可能不受欢迎，因为它在原点附近增长得十分缓慢。在某些机器学习应用中，区分恰好是零的元素和非零但值很小的元素是很重要的。在这些情况下，我们转而使用在各个位置斜率相同，同时保持简单的数学形式的函数： $L^1$范数。 $L^1$范数可以简化如下：
$$||x||_1=\sum_i|x_i|$$
当机器学习问题中零和非零元素之间的差异非常重要时，通常会使用 $L^1$范数。每当 $x$中某个元素从$0$增加到 $\epsilon$，对应的 $L^1$范数也会增加 $\epsilon$。
　　有时候我们会统计向量中非零元素的个数来衡量向量的大小。有些书籍将这种函数称为“ $L^0$范数”，但是这个术语在数学意义上是不对的。向量的非零元素的数目不是范数，因为对向量缩放 $\alpha$倍不会改变该向量非零元素的数目。因此， $L^1$范数经常作为表示非零元素数目的替代函数。
另外一个经常在机器学习中出现的范数是 $L^\infty$范数，也被称为 最大范数(max norm)。这个范数表示向量中具有最大幅值的元素的绝对值：
$$||x||_\infty=\max_i|x_i|$$
　　有时候我们可能也希望衡量矩阵的大小。在深度学习中，最常见的做法是使用 Frobenius范数(Frobenius norm)，
$$||A||_F=\sqrt{\sum_{i,j}A^2_{i,j}}$$
其类似于向量的 $L^2$范数。
　　两个向量的 点积(dot product)可以用范数来表示。具体地，
$$x^\mathrm{T}y=||x||_2||y||_2 cos\theta$$
其中 $\theta$表示 $x$和$y$之间的夹角。