距离专题

一、欧氏距离(Euclidean Distance)

欧氏距离是最容易直观理解的距离度量方法：两个点在空间中的距离。

二维平面上点 a(x1,y1) 与 b(x2,y2)间的欧氏距离:

$$d_{12} = \sqrt{(x_1-x_2)^2+(y_1-y_2)^2}$$

三维空间点 a(x1,y1,z1) 与 b(x2,y2,z2)间的欧氏距离:

$$d_{12} = \sqrt{(x_1-x_2)^2+(y_1-y_2)^2+(z_1-z_2)^2}$$

n维空间点 $a(x11,x12,…,x1n) 与 b(x12,x12,…,x1n)$间的欧氏距离：

$$d_{12} = \sqrt{\sum_{k=1}^{n}(x_{1k}-x_{2k})^2}$$

二、曼哈顿距离(Manhattan Distance)

在曼哈顿街区要从一个十字路口开车到另一个十字路口，实际驾驶距离就是“曼哈顿距离”。
也称为“城市街区距离”(City Block distance)。

二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离：

$$d_{12} =|x_1-x_2|+|y_1-y_2|$$

n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)的曼哈顿距离：

$$d_{12} =\sum_{k=1}^{n}|x_{1k}-x_{2k}|$$

三、 切比雪夫距离 (Chebyshev Distance)：

国际象棋中，国王可以直行、横行、斜行，所以国王走一步可以移动到相邻8个方格中的任意一个。
国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？这个距离就叫切比雪夫距离。

四、 闵可夫斯基距离(Minkowski Distance)：

闵氏距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述。
两个n维变量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：

（1）闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点:
    e.g. 二维样本(身高[单位:cm],体重[单位:kg]),现有三个样本：a(180,50)，b(190,50)，c(180,60)。
    a与b的闵氏距离（无论是曼哈顿距离、欧氏距离或切比雪夫距离）等于a与c的闵氏距离。
    但实际上身高的10cm并不能和体重的10kg划等号。

（2）闵氏距离的缺点：
    ① 将各个分量的量纲(scale)，也就是“单位”相同的看待了;
    ② 未考虑各个分量的分布（期望，方差等）可能是不同的。

五、 马氏距离(Mahalanobis Distance)：

下图有两个正态分布的总体，它们的均值分别为a和b，但方差不一样，
显然，A离左边的更近，A属于左边总体的概率更大，尽管A与a的欧式距离远一些。
这就是马氏距离的直观解释。

马氏距离是基于样本分布的一种距离。
物理意义就是在规范化的主成分空间中的欧氏距离。所谓规范化：对一些数据进行主成分分析分解。
再对分解轴做归一化，形成新的坐标轴。（如上图）

1 量纲无关，排除变量之间的相关性的干扰；马氏距离的计算是建立在总体样本的基础上的，
    如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，
    除非这两个总体的协方差矩阵碰巧相同；
2 计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，
    这种情况下，用欧式距离计算即可。

六、 标准化欧氏距离 (Standardized Euclidean Distance)：

标准化欧氏距离是针对欧氏距离的缺点而作的一种改进。

思路：既然数据各维分量的分布不一样，那先将各个分量都“标准化”到均值、方差相等。
     假设样本集X的均值(mean)为m，标准差(standard deviation)为s，

七、 汉明距离(Hamming Distance)：

两个等长字符串s1与s2的汉明距离为：将其中一个变为另外一个所需要作的最小字符替换次数。

应用：汉明重量分析在包括信息论、编码理论、密码学等领域都有应用。比如在信息编码过程中，
    为了增强容错性，应使得编码间的最小汉明距离尽可能大。但是，如果要比较两个不同长度的字符串，
    不仅要进行替换，而且要进行插入与删除的运算，在这种场合下，通常使用更加复杂的编辑距离等算法。

八、杰卡德距离(Jaccard Distance)：

杰卡德相似系数(Jaccard similarity coefficient)：
    两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，
    用符号J(A,B)表示：

杰卡德距离(Jaccard Distance)：
与杰卡德相似系数相反，用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度： 

九、巴氏距离

在统计学中，巴氏距离（巴塔恰里雅距离 / Bhattacharyya distance）用于测量两离散概率分布。
它常在分类中测量类之间的可分离性。在同一定义域X中，概率分布p和q的巴氏距离定义如下：