常用距离/相似度度量

给定样本集合 $X$，$X=[x_{ij}{]}_{m\times n}$，由 $n$ 个 $m$ 维特征组成的样本集合。其中 $x_i,x_j\in X,x_i=(x_{i1},x_{i2},...,x_{im}),x_j=(x_{j1},x_{j2},...,x_{jm})$。

1. 闵可夫斯基距离（Minkowski distance）

闵可夫斯基距离越大，表示两个样本/向量之间的相似度越低。
样本 $x_i$ 与 $x_j$ 之间的闵可夫斯基距离为：
$$d_{ij}=(\sum _{k=1}^m|x_{ki}-x_{kj}|{)}^{\frac{1}{p}}$$
当 $p=1$ 时，即为曼哈顿距离（Manhattan distance）：
$$d_{ij}=\sum _{k=1}^m|x_{ki}-x_{kj}|$$
当 $p=2$时，即为欧式距离（Euclidean distance）：
$$d_{ij}=\sqrt{\sum _{k=1}^m|x_{ki}-x_{kj}{|}^2}$$
当 $p=\infty$ 时，即为切比雪夫距离（Chebyshev distance）：
$$d_{ij}=\underset{k}{\max }|x_{ki}-x_{kj}|$$

2. 马哈拉诺比斯距离（Mahalanobis distance）

简称马氏距离，考虑各个特征之间的相关性。马氏距离越大，表示两个样本/向量之间的相似度越低。
记样本集合 $X$ 的协方差矩阵为 $S$，则样本 $x_i$ 与 $x_j$ 之间的马氏距离为：
$$d_{ij}=\sqrt{(x_i-x_j{)}^T{S}^{-1}(x_i-x_j)}$$
当 $S$ 为单位矩阵时，即样本数据的各个特征之间相互独立，且各个特征的方差为1 时，马氏距离就是欧式距离，故马氏距离是欧式距离的一种推广。

3. 相关系数（Correlation coefficient）

相似度越接近 1，表示两个向量/样本之间的相似度越高；越接近 0，相似度越低。
样本 $x_i$ 与 $x_j$ 之间的相关系数为：
$$r_{ij}=\frac{{\sum }_{k=1}^m(x_{ki}-{\bar{x}}_i)(x_{kj}-{\bar{x}}_j)}{\sqrt{{\sum }_{k=1}^m(x_{ki}-{\bar{x}}_i{)}^2{\sum }_{k=1}^m(x_{kj}-{\bar{x}}_j{)}^2}}$$
其中，
$${\bar{x}}_i=\frac{1}{m}\sum _{k=1}^m{x}_{ki},{\bar{x}}_j=\frac{1}{m}\sum _{k=1}^m{x}_{kj}$$

4. 余弦相似度（Cosine distance）

余弦相似度越接近 1，表示两个向量/样本之间的相似度越高；越接近 0，相似度越低。
样本 $x_i$ 与 $x_j$ 之间的余弦相似度为：
$$s_{i}j=\frac{{\sum }_{k=1}^m{x}_{ki}{x}_{kj}}{\sqrt{{\sum }_{k=1}{x}_{ki}^2{\sum }_{k=1}^m{x}_{kj}^2}}$$