机器学习中用样本之间的距离/相似度来表示样本差异,下面介绍几种常用的距离/相似度,顺便介绍一下L—P范数。
1.闽可夫斯基距离
L—P范数与闽可夫斯基距离的定义一样:
L p = ( ∑ 1 n x i p ) 1 p , x = ( x 1 , x 2 , ⋯ , x n ) Lp=({\sum\limits_{1}^n x_i^p})^{\frac{1}{p}},x=(x_1,x_2,\cdots,x_n) Lp=(1∑nxip)p1,x=(x1,x2,⋯,xn)
- 当 p = 1 p=1 p=1时,称为曼哈顿距离
- 当 p = 2 p=2 p=2时,称为欧氏距离
- 当 p = ∞ p =\infty p=∞时,称为切比雪夫距离,取各个坐标数值差的绝对值的最大值 d i j = m a x k ∣ x k i − x k j ∣ d_{ij}= max_k \ |x_{ki}\ - \ x_{kj}| dij=maxk ∣xki − xkj∣
当 p p p变化时,范数也有着不同的变化,三维空间中到原点距离小于一的点构成一个球体,即欧氏距离。
1.1L-0范数
对于L—0范数来说,他用来度量向量中非0元素的个数,表现形式为 ∣ ∣ w ∣ ∣ 0 ||w||_0 ∣∣w∣∣0