机器学习——距离度量

特征空间中两个实例点的距离是两个实例点相似程度的反映。

$L_p$ 距离

设特征空间 $\mathcal{X}$ 是 $n$ 维实数向量空间 ${\mathbf{R}}^{\mathbf{n}}$，$x_i,x_j\in \mathcal{X}$，$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T$，$x_j=(x_j^{(1)},x_j^{(2)},...,x_j^{(n)}{)}^T$，$x_i,x_j$ 的 ${\mathbf{L}}_{\mathbf{p}}$ 距离定义为：
$$L_p(x_i,x_j)=(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{\frac{1}{p}}$$ 这里 $p\ge 1$。

欧式距离

当 $p=2$ 时，称为欧式距离，即：
$$L_2(x_i,x_j)=(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^2{)}^{\frac{1}{2}}$$

曼哈顿距离

当 $p=1$ 时，称为曼哈顿距离，即：
$$L_1(x_i,x_j)=\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}|$$

$L_{\infty }$ 距离

当 $p=\infty$ 时，它是各个坐标距离的最大值，即：
$$L_{\infty }(x_i,x_j)=\underset{l}{\max }|x_i^{(l)}-x_j^{(l)}|$$

参考文献

[1] 李航. 统计学习方法. 清华大学出版社. 2012