在机器学习中我们通常使用范数来衡量一个向量的大小,其定义如下:
其中 pϵR p ϵ R , p⩾0 p ⩾ 0 。
范数是将向量映射到非负值的函数,通俗的说,向量 x x 的范数是衡量从原点到点的距离。
1.L0范数 1. L 0 范 数
L0 L 0 范数,即 p=0 p = 0 ,代入上面公式中,严格说数学意义上是不对的,一般来说 L0 L 0 范数用来表示向量中非零元素的个数(有些情况下我们希望用向量中非零元素的个数来衡量向量的大小)。
2.L1范数 2. L 1 范 数
L1 L 1 范数,即 p=1 p = 1 ,有如下:
L1 L 1 范数用来表示向量中非零元素绝对值之和,在机器学习问题中,遇到零和非零元素之间的差异性非常重要时候,通常会使用 L1 L 1 范数。
3.L2范数 3. L 2 范 数
L2 L 2 范数,即 p=2 p = 2 ,有如下:
L2 L 2 范数也被成为欧几里得范数,可以表示从原点出发到向量 x x 确定点的欧几里得距离。通常被用来做优化目标函数的正则化项,防止模型因迎合训练集而过拟合,提高模型的泛化能力。通常,平方范数也能用来描述向量大小,可以通过计算点积 xTx x T x 。也就是说 L2 L 2 范数可以描述为 (xTx)12 ( x T x ) 1 2 。
4.L∞范数 4. L ∞ 范 数
L∞ L ∞ 范数,即 p=∞ p = ∞ ,有如下:
L∞ L ∞ 范数也被成为最大范数,可以表示向量中具有最大幅值的绝对值。通常写法为:
5.Frobenius范数 5. F r o b e n i u s 范 数
用来衡量矩阵的大小,如: