范数

 在机器学习中我们通常使用范数来衡量一个向量的大小，其定义如下:

$$\left \| x \right \|_{p} = \left ( \sum_{i}\left | x_{i} \right |^{p} \right )^\frac{1}{p}$$
其中 $p \epsilon \mathbb{R}$， $p\geqslant 0$。
 范数是将向量映射到非负值的函数，通俗的说，向量 $x$的范数是衡量从原点到点$x$的距离。

$1. L_0范数$

 $L_0$范数，即$p=0$，代入上面公式中，严格说数学意义上是不对的，一般来说$L_0$范数用来表示向量中非零元素的个数（有些情况下我们希望用向量中非零元素的个数来衡量向量的大小）。

$2. L_1范数$

 $L_1$范数，即$p=1$，有如下：

$$\left \| x \right \|_{1} = \sum_{i}\left | x_{i} \right |$$
$L_1$范数用来表示向量中非零元素绝对值之和，在机器学习问题中，遇到零和非零元素之间的差异性非常重要时候，通常会使用 $L_1$范数。

$3. L_2范数$

 $L_2$范数，即$p=2$，有如下：

$$\left \| x \right \|_{2} = \left ( \sum_{i}\left | x_{i} \right |^{2} \right )^\frac{1}{2}$$
$L_2$范数也被成为欧几里得范数，可以表示从原点出发到向量 $x$确定点的欧几里得距离。通常被用来做优化目标函数的正则化项，防止模型因迎合训练集而过拟合，提高模型的泛化能力。通常，平方$L_{2}$范数也能用来描述向量大小，可以通过计算点积 $x^{T}x$。也就是说 $L_{2}$范数可以描述为 $(x^{T}x)^{\frac{1}{2}}$。

$4. L_\infty 范数$

 $L_\infty$范数，即$p=\infty$，有如下：

$$\left \| x \right \|_{\infty } = \left ( \sum_{i}\left | x_{i} \right |^{\infty } \right )^\frac{1}{\infty }$$
$L_\infty$范数也被成为最大范数，可以表示向量中具有最大幅值的绝对值。通常写法为：
$$\left \| x \right \|_{\infty} =max\left(|x_{i}|\right)$$

$5. Frobenius范数$

 用来衡量矩阵的大小，如：

$$\left \| x \right \|_{2} = \left ( \sum_{i,j} A_{i,j}^{2} \right )^\frac{1}{2}$$