[数据挖掘]数学基础---距离度量方式（马氏距离，欧式距离，曼哈顿距离）

马氏距离

概念：马氏距离是由印度统计学家马哈拉洛比斯提出的，表示数据的协方差距离。它是一种有效的计算两个位置样本集相似度的方法。

马氏距离的定义：设总体G为m维总体（考察m个指标），均值向量为$\mu=(\mu_{1},\mu_{2},...,\mu_{m})'$，协方差阵为$\sum =(\sigma_{ij})$,则样品$X=(x_{1}，x_{2}，...,x_{m})'$与总体G的马氏距离定义为

$d^{2}(X,G)=(X-\mu)'\sum^{-1}(X-\mu)$
当$m=1$时，$\sum^{-1}=\frac{1}{\sigma ^2}$,所以
$d^{2}(x,G)=\frac{(x-\mu )^2}{\sigma ^2}$

下面来谈个例子，关于马氏距离在距离判别的应用（例子来源自北大数学学院PPT，参考资料已经注明）。

例子：已知有2个类G1和G2,G1是设备A生产的产品，G2是设备B生产的产品。设备A的产品质量高，其平均耐磨度$\mu _{G1}=80$，反映设备精度的方差$\sigma^2 (G1)=0.25$；设备B的产品质量稍差，其平均耐磨度$\mu _{G2}=75$，反映设备精度的方差$\sigma^2 (G1)=4$。现在有一产品$X_{0}，测得耐磨度$x_{0}=78$，试判断该产品是哪一台设备生产的？

直观的看，$X_{0}$与$\mu _{1}$的绝对距离近些，按距离最近的原则产品$X_{0}$将被认为是A生产的。但是考虑到方差，这种判断是不合理的。

现在考虑用马氏距离来解决这个问题。
根据定义，此时的m=1
$d^{2}(x_{0},G1)=\frac{(x-\mu_{1} )^2}{\sigma_{1} ^2}=\frac{(78-80)^2}{0.25}=16$
$d^{2}(x_{0},G2)=\frac{(x-\mu_{2} )^2}{\sigma_{2} ^2}=\frac{(78-75)^2}{4}=2.25$
明显后者小于前者，所以为B生产。
可以这样理解这个例子：设备B生产的质量较分散，出现$X_{0}$的可能性仍然较大。
马氏距离是一种相对于分散性的距离。

应该注意马氏距离如下的性质：

1.如果协方差矩阵为单位矩阵，马氏距离就简化为欧式距离。
2.马氏距离的计算是建立在总体样本的基础上的。
3.计算马氏距离要求总体样本数大于样本的维度。
4.当协方差矩阵的逆矩阵（样本在所处平面内共线)，这种情况用欧式距离计算即可。

欧式距离

笔者在另外一篇回顾性的博文中，提到过范数的概念，点击博文链接机器学习之数学知识回顾。其实曼哈顿距离和欧式距离分别是$L_{1}$h和$L_{2}$范数。
定义：

$L_{1}(x_i,x_j)=(\sum_{i=1}^{n}|x_{i}^{(l)}-x_{j}^{(l)}|^2)^{(\frac{1}{2})}$

曼哈顿距离

曼哈顿距离也称为出租车几何，由赫尔曼-敏可夫斯基提出，如下图所示。两点直接的直线距离为欧式距离，而横纵坐标绝对值之和的值代表曼哈顿距离。

$L_{1}(x_i,x_j)=(\sum_{i=1}^{n}|x_{i}^{(l)}-x_{j}^{(l)}|)$

参考资料

[1] http://wenku.baidu.com/link?url=xU3ejKXnB_WYT4AcRo5ucrCutHNIOzVjblUnwVsDxMBzmbyvceTvliZ2gUkx1KTP17pY0UQzcZumryB1l2hs-ckYLnKWJlP6oYU0YNPIS9W
[2]http://wenku.baidu.com/link?url=xU3ejKXnB_WYT4AcRo5ucrCutHNIOzVjblUnwVsDxMBzmbyvceTvliZ2gUkx1KTP17pY0UQzcZumryB1l2hs-ckYLnKWJlP6oYU0YNPIS9W
[3]胡婷婷。厦门大学硕士论文。数据挖掘中的离群点检测算法研究。2014年。