距离的度量（Dissimilarity Measure、Distance Metric）

0. $\ell_1$ 距离

$$d_1(I_1,I_2)=\sum_{p}|I_1^p-I_2^p|$$
比如比较两幅图像之间的距离：

1. Minkowski Distance（闵式距离）

$$D=\left ( \sum_{i=1}^d|x_i-y_i|^p\right )^{\frac 1p}$$

• （1）适用于数值型数据（numeric data）
• （2）欧氏距离是闵式距离在（$p=2$）的特例

2. Simple Matching Distance（简单匹配距离）

$$\begin{split} &\delta(x_j,y_j)=\left \{ \begin{array}{ll} 0,&x_j=y_j\\ 1,&x_j\neq y_j \end{array} \right.\\ &D=\sum_{j=1}^d\delta(x_j,y_j) \end{split}$$

• （1）适用于类别型数据（categorical data）

3. 混合距离（Mixed Distance）

$$D=\sum_{j=1}^m(x_j-y_j)^2+\beta\sum_{j=m+1}^d\delta(x_j,y_j)$$

• （1）适用于混合类型的特征向量（既包含数值型、又包含类别型）

4. 曼哈顿距离（马氏距离）

$$D=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$

• （1）适用于数值型数据（numeric data）
• （2）利用了Cholesky Transformation 来消除不同维度之间的相关性和尺度不同对距离的影响；

$$\begin{split} &\Sigma = LL^T\\ &z=L^{-1}(x-\mu)\\ &z^Tz=(L^{-1}(x-\mu))^T(L^{-1}(x-\mu))=(x-\mu)^T\Sigma^{-1}(x-\mu) \end{split}$$

5. 距离度量纵横谈

• （1）除马氏距离以外的所有的距离度量都只是单纯利用这两个特征向量本身，而不依赖其他样本。
• （2）马氏距离是唯一一个计算两个特征向量的距离依赖整体样本的，$\Sigma=X^TX$。

References

[1] 漫谈：机器学习中距离和相似性度量方法