范数,在机器学习中通常用于衡量一个向量的大小,形式上,
范数的定义如下:
其中 p>=1
从宏观上来讲,范数是将向量映射到非负值的函数,从直观上来说,范数是向量x到原点的距离。
但是范数并不局限于上述的公式,对任意的函数只要满足以下的性质,则可以称该函数是范数:
1)对于 f(x) = 0,则一定有x = 0
2) f(x + y) <= f(x) + f(y)
3)对任意的标量a,一定有 f(ax) = |a| f(x)
注意:以上性质中,x与y都是向量。
当p = 2时,范数就是我们通常讲的欧几