Norms 范数
一、向量范数
在机器学习中,我们经常使用被称为范数( norm)的函数衡量向量大小。 L p L^p Lp 范数定义如下: ∥ x ∥ p = ( ∑ i ∣ x i ∣ p ) 1 p \|\boldsymbol{x}\|_p=\Big(\displaystyle\sum_i|x_i|^p\Big)^\frac{1}{p} ∥x∥p=(i∑∣xi∣p)p1其中 p ∈ R , p ≥ 1 p\in\mathbb{R},p\geq 1 p∈R,p≥1
范数是将向量映射到非负值的函数。向量 x \boldsymbol{x} x 的范数衡量从原点到点 x \boldsymbol{x} x 的距离。更严格地说,范数是满足下列性质的任意函数:
- f ( x ) = 0 ⇒ x = 0 f(\boldsymbol{x}) = 0 \Rightarrow \boldsymbol{x} = \boldsymbol{0} f(x)=0⇒x=0
- f ( x + y ) ≤ f ( x ) + f ( y ) f(\boldsymbol{x + y}) ≤ f(\boldsymbol{x}) + f(\boldsymbol{y}) f(x+y)≤f(x)+f(y) (三角不等式( triangle inequality))
- ∀ α ∈ R , f ( α x ) = ∣ α ∣ f ( x ) \forall\,\alpha\in\mathbb{R},f(\alpha\boldsymbol{x})=|\alpha|f(\boldsymbol{x}) ∀α∈