其他机器学习系列文章见于专题:机器学习进阶之路——学习笔记整理,欢迎大家关注。
设特征空间 χ \chi χ是 n n n维实数向量空间 R n R^n Rn, x i , x j ∈ χ {x_i},{x_j} \in \chi xi,xj∈χ, x i = ( x i ( 1 ) , x i ( 2 ) , ⋯   , x i ( n ) ) T x _ { i } = \left( x _ { i } ^ { ( 1 ) } , x _ { i } ^ { ( 2 ) } , \cdots , x _ { i } ^ { ( n ) } \right) ^ { T } xi=(xi(1),xi(2),⋯,xi(n))T, x j = ( x j ( 1 ) , x j ( 2 ) , ⋯   , x j ( n ) ) T x _ { j } = \left( x _ { j } ^ { ( 1 ) } , x _ { j } ^ { ( 2 ) } , \cdots , x _ { j } ^ { ( n ) } \right) ^ { \mathrm { T } } xj=(xj(1),xj(2),⋯,xj(n))T。
1. 闵可夫斯基距离(Minkowski distance, L p L_p Lp距离)
x
i
,
x
j
x_i,x_j
xi,xj的
L
p
L_p
Lp距离定义为:
L
p
(
x
i
,
x
j
)
=
(
∑
l
=
1
n
∣
x
i
(
l
)
−
x
j
(
l
)
∣
p
)
1
p
L _ { p } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { p } \right) ^ { \frac { 1 } { p } }
Lp(xi,xj)=(l=1∑n∣∣∣xi(l)−xj(l)∣∣∣p)p1
其中,
p
≥
1
p \ge 1
p≥1。
2. 曼哈顿距离(Manhattan distance)
当
p
=
1
p=1
p=1时,
L
p
L_p
Lp距离就变成了曼哈顿距离:
L
1
(
x
i
,
x
j
)
=
∑
l
=
1
n
∣
x
i
(
l
)
−
x
j
(
l
)
∣
L _ { 1 } \left( x _ { i } , x _ { j } \right) = \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right|
L1(xi,xj)=l=1∑n∣∣∣xi(l)−xj(l)∣∣∣
3. 欧式距离(Euclidean distance)
当
p
=
2
p=2
p=2,
L
p
L_p
Lp距离就变成了欧几里得距离:
L
2
(
x
i
,
x
j
)
=
(
∑
l
=
1
n
∣
x
i
(
l
)
−
x
j
(
l
)
∣
2
)
1
2
L _ { 2 } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { 2 } \right) ^ { \frac { 1 } { 2 } }
L2(xi,xj)=(l=1∑n∣∣∣xi(l)−xj(l)∣∣∣2)21
4. 切比雪夫距离(Chebyshev distance)
当
p
=
∞
p = \infty
p=∞,
L
p
L_p
Lp距离就变成了切比雪夫距离,它是各个坐标距离的最大值:
L
∞
(
x
i
,
x
j
)
=
max
l
∣
x
i
(
l
)
−
x
j
(
l
)
∣
L _ { \infty } \left( x _ { i } , x _ { j } \right) = \max _ { l } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right|
L∞(xi,xj)=lmax∣∣∣xi(l)−xj(l)∣∣∣
参考文献:
- 《统计学习方法》第三章k近邻模型——李航