【机器学习】LP距离、欧式距离、曼哈顿距离、切比雪夫距离

其他机器学习系列文章见于专题：机器学习进阶之路——学习笔记整理，欢迎大家关注。

  设特征空间$\chi$是$n$维实数向量空间$R^n$，$x_i,x_j\in \chi$，$x_i={\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}\right)}^T$，$x_j={\left(x_j^{(1)},x_j^{(2)},\cdots ,x_j^{(n)}\right)}^{\mathrm{T}}$。

1. 闵可夫斯基距离（Minkowski distance,$L_p$距离）

  $x_i,x_j$的$L_p$距离定义为：
$$L_p\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^p\right)}^{\frac{1}{p}}$$
其中，$p\ge 1$。

2. 曼哈顿距离（Manhattan distance）

  当$p=1$时，$L_p$距离就变成了曼哈顿距离：
$$L_1\left(x_i,x_j\right)=\sum _{l=1}^n\left|x_i^{(l)}-x_j^{(l)}\right|$$

3. 欧式距离（Euclidean distance）

  当$p=2$，$L_p$距离就变成了欧几里得距离：
$$L_2\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^2\right)}^{\frac{1}{2}}$$

4. 切比雪夫距离（Chebyshev distance）

  当$p=\infty$，$L_p$距离就变成了切比雪夫距离，它是各个坐标距离的最大值：
$$L_{\infty }\left(x_i,x_j\right)=\underset{l}{\max }\left|x_i^{(l)}-x_j^{(l)}\right|$$

参考文献：

1. 《统计学习方法》第三章k近邻模型——李航