24种距离度量小结

1.欧氏距离(Euclidean Distance)

$$d=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}$$
以古希腊数学家欧几里得命名的距离；也就是我们直观的两点之间直线最短的直线距离。

2.曼哈顿距离(Manhattan Distance)

$$d=\sum _{i=1}^n|x_i-y_i|$$
是由十九世纪的赫尔曼·闵可夫斯基所创词汇；是种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和；也就是和象棋中的“車”一样横平竖直的走过的距离；曼哈顿距离是超凸度量。

3.切比雪夫距离(Chebyshev Distance)

$$D_{Chebyshev}(p,q)=\underset{i}{\max }(|p_i-q_i|)=\underset{k\to \infty }{\lim }(\sum _{i=1}^n|p_i-q_i{|}^k{)}^{1/k}$$
在数学中，切比雪夫距离（Chebyshev distance）或是L∞度量，是向量空间中的一种度量，二个点之间的距离定义是其各坐标数值差绝对值的最大值。切比雪夫距离是由一致范数(uniform norm)(或称为上确界范数)所衍生的度量，也是超凸度量。

4.闵可夫斯基距离(Minkowski Distance)

$$d=\sqrt[p]{\sum _{i=1}^n(x_i-y_i{)}^p}$$
以俄罗斯数学家闵可夫斯基命名的距离；是欧式距离的推广，p=2时等价于欧氏距离，和p-范数等值。

5.标准化欧氏距离(Standardized Euclidean Distance)

在对长方体区域进行聚类的时候，普通的距离无法满足要求，按照普通的距离聚类出的大多是圆形的区域，这时候要采用标准的欧式距离。

两个 $n$ 维向量 $a(X_{11},X_{12},X_{13},\dots ,X_{1n})与b(X_{21},X_{22},\dots ,X_{2n})$间的标准化欧氏距离公式为：
$$d=\sqrt{\sum _{k=1}^n{\left(\frac{x_{1k}-x_{2k}}{s_k}\right)}^2}$$
其中s_k是分量的标准差。
对于长宽比为2：1的矩形进行聚类，使用标准欧式距离公式为：
$$d=\sqrt{{\left(\frac{x_2-x_1}{2}\right)}^2+{\left(\frac{y_2-y_1}{1}\right)}^2}$$

6.马氏距离(Mahalanobis Distance)

马氏距离是由印度统计学家马哈拉诺比斯（P. C. Mahalanobis）提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant），即独立于测量尺度。 对于一个均值为
$$\mu \text{ = }{\left({\mu }_1,{\mu }_2,{\mu }_3,\cdots ,{\mu }_p\right)}^T$$
协方差矩阵为$\Sigma$的多变量矢量
$$x\text{ = }{\left(x_1,x_2,x_3,\cdots ,x_p\right)}^T$$
其马氏距离为
$$D_M\left(x\right)=\sqrt{{\left(x-\mu \right)}^T{\Sigma }^{-1}\left(x-\mu \right)}$$
马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为\Sigma的随机变量 $\vec{x}$与 $\vec{y}$的差异程度：
$$d(\vec{x},\vec{y})=\sqrt{(\vec{x}-\vec{y}{)}^T{\Sigma }^{-1}(\vec{x}-\vec{y})}$$
如果协方差矩阵为单位矩阵，马氏距离就简化为欧式距离；如果协方差矩阵为对角阵，其也可称为正规化的马氏距离。
$$d(\vec{x},\vec{y})=\sqrt{\sum _{i=1}^p\frac{(x_i-y_i{)}^2}{{\sigma }_i^2}}$$
其中${\sigma }_i$是$x_i$的标准差。

7.余弦距离(Cosine Distance)

余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。公式如下：
$$sim\left(\overrightarrow{x},\overrightarrow{y}\right)=\cos \theta =\frac{\overrightarrow{x}\cdot \overrightarrow{y}}{\Vert x\Vert \cdot \Vert y\Vert }$$

8.皮尔逊相关系数(Pearson Correlation)

在统计学中，皮尔逊相关系数( Pearson\ correlation\ coefficient），又称皮尔逊积矩相关系数（Pearson product-moment\ correlation\ coefficient，简称 PPMCC或PCCs），是用于度量两个变量X和Y之间的相关$（\ast \ast 线性相关\ast \ast ）$，其值介于-1与1之间。
$${\rho }_{X,Y}=\frac{\mathrm{cov}\left(X,Y\right)}{{\sigma }_X{\sigma }_Y}=\frac{E\left[\left(X-{\mu }_X\right)\left(Y-{\mu }_Y\right)\right]}{{\sigma }_X{\sigma }_Y}$$

9.汉明距离(Hamming Distance)

汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个（相同长度）字对应位不同的数量，我们以d(x,y)表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。

# 举例说明以下字符串间的汉明距离为：
"karolin" and "kathrin" is 3.
"karolin" and "kerstin" is 3.
1011101 and 1001001 is 2.
2173896 and 2233796 is 3.

10.杰卡德相似系数(Jaccard Similarity Coefficient)

Jaccard index，又称为Jaccard相似系数（Jaccard similarity coefficient）用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大，样本相似度越高。
给定两个集合A,B，Jaccard 系数定义为A与B交集的大小与A与B并集的大小的比值，定义如下：
$$J\left(A,B\right)=\frac{\left|A\cap B\right|}{\left|A\cup B\right|}$$
当集合A，B都为空时，J(A,B)定义为1。

11.Ochiai Coefficient

A,B分别代表符合某种条件的集合：两个集合的交集大小/两个集合大小的几何平均值。是余弦相似性的一种形式。
$$K\left(A,B\right)=\frac{\left|A\cap B\right|}{\sqrt{\left|A\right|\times \left|B\right|}}$$
是余弦相似性的一种形式。

11.布雷柯蒂斯距离(Bray Curtis Distance)

Bray Curtis距离主要用于生态学和环境科学，计算坐标之间的距离。该距离取值在[0,1]之间。它也可以用来计算样本之间的差异。
$$d\left(x,y\right)=\frac{\sum _{k=1}^n\left|x_k-y_k\right|}{\sum _{k=1}^n{x}_k\text{ + }\sum _{k=1}^n{y}_k}$$

12.Hausdorff距离

给定欧氏空间中的两点集 A = { a 1 , a 2 , ⋯ } A = \left\{ {{a_1},{a_2}, \cdots } \right\} A={a1​,a2​,⋯}， B = { b 1 , b 2 , ⋯ } B = \left\{ {{b_1},{b_2}, \cdots } \right\} B={b1​,b2​,⋯} ，Hausdorff距离就是用来衡量这两个点集间的距离。
$$H\left(A,B\right)=\max \left[h\left(A,B\right),h\left(B,A\right)\right]$$其中$h\left(A,B\right)=\underset{a\in A}{\max }\underset{b\in B}{\min }\Vert a-b\Vert$， $h\left(B,A\right)=\underset{b\in B}{\max }\underset{a\in A}{\min }\Vert b-a\Vert$ 。 $H(A,B)$称为双向Hausdorff距离， 称为从点集A到点集B的单向Hausdorff距离。相应地 称为从点集B到点集A的单向Hausdorff距离。

13.Levenshtein Distance(Edit Distance)

Levenshtein Distance是一个度量两个字符序列之间差异的字符串度量标准，两个单词之间的Levenshtein Distance是将一个单词转换为另一个单词所需的单字符编辑（插入、删除或替换）的最小数量。Levenshtein Distance是1965年由苏联数学家Vladimir Levenshtein发明的。Levenshtein Distance也被称为编辑距离（Edit Distance）。
对于两个字符串a、b，长度分别为$\left|a\right|$、$\left|b\right|$，它们的$LevenshteinDistance{\mathrm{lev}}_{a,b}(|a|,|b|)$为：
$${\mathrm{lev}}_{a,b}(i,j)=\{\begin{array}{cc}max(j,j)& \text{if min}(i,j)=0\\ min\{\begin{array}{c}{\mathrm{lev}}_{a,b}(i-1,j)+1\\ {\mathrm{lev}}_{a,b}(i,j-1)+1\\ {\mathrm{lev}}_{a,b}(i-1,j-1)+1_{(a_i̸=b_j)}\end{array}& \text{otherwise}\end{array}$$
其中当$a_i=b_j$时，$1_{(a_i̸=b_j)}$为0，否则为1。${\mathrm{lev}}_{a,b}(i,j)$就是a的前i个字符与b的前j个字符的编辑距离。

a、b的相似度$Si{m}_{a,b}$为$Si{m}_{a,b}=1-({\mathrm{lev}}_{a,b}(\left|a\right|,\left|b\right|)/max(\left|a\right|,\left|b\right|))$。

14.堪培拉距离(Canberra Distance)

堪培拉距离（Canberra Distance），被认为是曼哈顿距离的加权版本。
其定义公式为：
$$d\left(p,q\right)=\sum _{i=1}^n\frac{\left|p_i-q_i\right|}{\left|p_i\right|+\left|q_i\right|}$$
通常兰氏距离对于接近于0（大于等于0）的值的变化非常敏感。与马氏距离一样，兰氏距离对数据的量纲不敏感。不过兰氏距离假定变量之间相互独立，没有考虑变量之间的相关性。

15.卡方检验

卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，如果卡方值越大，二者偏差程度越大；反之，二者偏差越小；若两个值完全相等时，卡方值就为0，表明理论值完全符合。
https://www.jianshu.com/p/807b2c2bfd9b

16.相对熵

相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 $P(x)$ 和 $Q(x)$，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。
维基百科对相对熵的定义：

In the context of machine learning, $D_{KL}(P\Vert Q)$ is often called the information gain achieved if P is used instead of Q.

$$D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})\text{\hspace{1em}(16)}$$
$n$为事件的所有可能性，$D_{KL}$的值越小，表示$q$分布和$p$分布越接近。

17.交叉熵

对式6变形可以得到：
$$\begin{gathered} D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)log(p(x_i))-\sum _{i=1}^{n}p(x_i)log(q(x_i)) \\ =-H(p(x))+[-\sum _{i=1}^{n}p(x_i)log(q(x_i))] \end{gathered}$$
等式的前一部分恰巧就是p的熵，等式的后一部分，就是交叉熵：
$$H(p,q)=-\sum _{i=1}^{n}p(x_i)log(q(x_i))$$
在机器学习中，我们需要评估label和predicts之间的差距，使用KL散度刚刚好，即$D_{KL}(y||\hat{y})$，由于KL散度中的前一部分$-H(y)$不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做loss，评估模型。

18.JS散度

JS散度也称JS距离，是KL散度的一种变形。
$$D_{JS}\left(p||q\right)=\frac{1}{2}{D}_{KL}\left(p||\frac{p+q}{2}\right)+\frac{1}{2}{D}_{KL}\left(q||\frac{p+q}{2}\right)$$
但是不同于KL主要又两方面：
（1）值域范围
JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。
（2）对称性
即 JS(P||Q)=JS(Q||P)，从数学表达式中就可以看出。
如果两个分配P,Q离得很远，完全没有重叠的时候，那么KL散度值是没有意义的，而JS散度值是一个常数。这在学习算法中是比较致命的，这就意味这这一点的梯度为0。梯度消失了。

19.Hellinger distance

Hellinger Distance 又称 Bhattacharyya distance，因为作者的姓氏叫 Anil Kumar Bhattacharya。在概率和统计学中，Hellinger Distance 被用来衡量两个概率分布之间的相似性，属于 f-divergence 的一种。而 f-divergence 又是什么呢？一个 f-divergence 是一个函数 Df(P||Q) 用来衡量两个概率分布P and Q 之间的不同。
$$H\left(P,Q\right)=\frac{1}{\sqrt{2}}\sqrt{\sum _{i=1}^k{\left(\sqrt{p_i}-\sqrt{q_i}\right)}^2}$$

20.F散度

在概率统计中，f散度是一个函数，这个函数用来衡量两个概率密度p和q的区别，也就是衡量这两个分布多么的相同或者不同。
p和q是同一个空间中的两个概率密度函数，它们之间的f散度可以用如下方程表示：
$$D_f\left(p||q\right)=\int q\left(x\right)f\left(\frac{p\left(x\right)}{q\left(x\right)}\right)dx$$
f函数满足两个条件：$f$函数是一个凸函数，并且$f(1)=0$。

如果f(x)=xlogx，那就是KL散度。如果是f(x)=-logx，那就表示reverse KL散度。

21.巴氏距离(Bhattacharyya Distance)

22.MMD距离(Maximum mean discrepancy)

23.Wasserstein distance

24.点对互信息 PMI(Pointwise Mutual Information)