各种距离、相似度

$n$维样本空间里的点$x=(x_1,x_2,...,x_n)$和点$y=(y_1,y_2,...,y_n)$之间的各种距离

欧氏距离

$$d(x,y)=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}$$

曼哈顿距离

亦称为城市街区距离

$$d(x,y)=\sum _{i=1}^n|(x_i-y_i)|$$

切比雪夫距离

$$d(x,y)=\underset{i=1}{\overset{n}{\max }}|x_i-y_i|$$

等价于

$$\underset{k\to \infty }{\lim }(\sum _{i=1}^n|x_i-y_i{|}^k{)}^{1/k}$$

因此切比雪夫距离亦称为$L_{\infty }$距离

闵可夫斯基距离

$$d(x,y)=\sqrt[p]{\sum _{i=1}^n|x_i-y_i{|}^p}$$

其中 $p$是一个参数(可以等于1,2,3…)，根据参数的不同，闵氏距离可以表示一类距离

标准化欧氏距离

$$d(x,y)=\sqrt{\sum _{i=1}^n(\frac{x_i-y_i}{s_i}{)}^2}$$

其中$s_i$代表包含点$x$和$y$的样本集的第i个特征的标准差。另，若将方差的倒数看成一个权重，这个公式可看成是一种加权欧氏距离

马氏距离

马氏距离（Mahalanobis Distance）是由印度统计学家普拉萨德·马哈拉诺比斯（Prasanta Chandra Mahalanobis）提出的，用于测量一个点与一个分布之间的距离。与欧氏距离不同，马氏距离考虑了数据集中各个特征的相关性，并且是尺度无关的，即它不受数据集中各个特征尺度的影响。

若不同维度之间存在相关性和尺度变换等关系，需要使用一种变化规则，将当前空间中的向量变换到另一个可以简单度量的空间中去测量。马氏距离与量纲无关，排除了变量之间的相关性的干扰。

单个数据点的马氏距离：

$$d(x)=\sqrt{z^{T}z}=\sqrt{(x-\mu {)}^T{S}^{-1}(x-\mu )}$$

数据点x、y之间的马氏距离：

$d(x,y)=\sqrt{(x-y{)}^T{S}^{-1}(x-y)}$

均值记为向量$\mu =({\mu }_1,{\mu }_2,...,{\mu }_m{)}^T$,协方差矩阵记为$S$,则样本点$x=(x_1,x_2,...,x_m{)}^T$和 $y=(y_1,y_2,...,y_m{)}^T$的 距离如上。若各个样本之间独立同分布，则公式就变成了欧氏距离。

特点

1. 尺度无关性：马氏距离通过使用协方差矩阵调整各个特征的尺度，因此它对不同尺度的特征不敏感。

2. 考虑特征间相关性：由于使用了协方差矩阵，马氏距离考虑了特征之间的相关性。如果特征间相互独立，协方差矩阵就是对角线矩阵，此时马氏距离等同于标准化的欧氏距离。

3. 异常值检测：马氏距离经常用于多变量数据的异常值检测，因为它可以量化一个点与数据集分布的差异。

应用

马氏距离广泛应用于多个领域，包括模式识别、分类问题和数据聚类。在这些应用中，它帮助识别和区分不同的数据点或数据集，尤其是在特征之间存在相关性的情况下。

在实际应用中，计算马氏距离需要数据集的协方差矩阵及其逆矩阵。在多数情况下，使用样本协方差矩阵作为总体协方差矩阵的估计。需要注意的是，当特征数量大于样本数量时，协方差矩阵可能不是满秩的，这时就需要使用伪逆矩阵或添加正则化项。

计算

在实际应用中，计算巴氏距离通常涉及到计算两个分布的均值和协方差矩阵。对于非正态分布或者离散分布，巴氏距离的计算可能更加复杂，需要根据具体的分布特性来确定。在Python中，可以使用NumPy和SciPy等库来辅助计算均值、方差和协方差，进而计算巴氏距离。

余弦相似度

$$d(x,y)=\frac{x\cdot y}{||x||\ast ||y||}$$

其中$||x||$表示$x$的欧几里得范数，即长度。