范数 为何物？

在机器学习 & 深度学习中常常用到范数，那么范数到底是干什么用的呢？
其实范数的主要作用是衡量一个向量的大小，就是将向量映射到非负值的函数。直观讲就是：向量 $x$ 的范数衡量 从原点到点 $x$ 的距离。

形式上，$L^p$ 范数定义为：
$$\Vert x{\Vert }_p=(\sum _i{|x_i|}^p{)}^{\frac{1}{p}}$$

1、欧几里得范数 – $L^2$范数

当 $p=2$ 时，我们称之为 $L^2$ 范数，也称为 欧几里得范数；常化简为 $\Vert x\Vert$

它表示从原点出发 到向量 $x$ 确定的点 的欧几里得距离。

2、平方 $L^2$ 范数

平方 $L^2$ 范数也常常用来衡量向量的大小，可以见的 平方 $L^2$ 范数相比 $L^2$ 范数没有开方，因此可以简单的通过点积 $x^T\cdot x$ 计算

3、$L^1$ 范数

$L^1$ 范数可以简化为
$$\Vert x{\Vert }_1=\sum _i|x_i|$$

当机器学习问题中 零和非零元素之间的差异非常重要时，通常会使用 $L^1$ 范数。$L^1$ 范数经常作为表示非零元素数目的替代函数。

4、$L^{\infty }$ 最大范数

这个范数表示向量中最大幅值的元素的绝对值

$$\Vert x{\Vert }_{\infty }=\underset{i}{\max }|x_i|$$

5、Frobenius 范数 – F范数

Frobenius 范数 与上述范数不同，Frobenius 范数是一个衡量 矩阵大小的范数，在深度学习中使用较多。

$$\Vert A{\Vert }_F=\sqrt{\sum _{i,j}{a}_{i,j}^2}$$

即：矩阵$A$ 全部元素平方和的平方根。