探究马氏距离

马氏距离(Mahalanobis Distance)是度量学习中一种常用的距离指标，同欧氏距离、曼哈顿距离、汉明距离等一样被用作评定数据之间的相似度指标。但却可以应对高维线性分布的数据中各维度间非独立同分布的问题。

1 什么是马氏距离

马氏距离(Mahalanobis Distance)是一种距离的度量，可以看作是欧氏距离的一种修正，修正了欧式距离中各个维度尺度不一致且相关的问题。
单个数据点的马氏距离

数据点x, y之间的马氏距离

其中Σ是多维随机变量的协方差矩阵，μ为样本均值，如果协方差矩阵是单位向量，也就是各维度独立同分布，马氏距离就变成了欧氏距离。

2 马氏距离实际意义

那么马氏距离就能能干什么？它比欧氏距离好在哪里？举几个栗子

2.1 欧式距离近就一定相似？

先举个比较常用的例子，身高和体重，这两个变量拥有不同的单位标准，也就是有不同的scale。比如身高用毫米计算，而体重用千克计算，显然差10mm的身高与差10kg的体重是完全不同的。但在普通的欧氏距离中，这将会算作相同的差距。

2.2 归一化后欧氏距离近就一定相似？

当然我们可以先做归一化来消除这种维度间scale不同的问题，但是样本分布也会影响分类

举个一维的栗子，现在有两个类别，统一单位，第一个类别均值为0，方差为0.1，第二个类别均值为5，方差为5。那么一个值为2的点属于第一类的概率大还是第二类的概率大？距离上说应该是第一类，但是直觉上显然是第二类，因为第一类不太可能到达2这个位置。

所以，在一个方差较小的维度下很小的差别就有可能成为离群点。就像下图一样，A与B相对于原点的距离是相同的。但是由于样本总体沿着横轴分布，所以B点更有可能是这个样本中的点，而A则更有可能是离群点。

2.3 算上维度的方差就够了？

还有一个问题——如果维度间不独立同分布，样本点一定与欧氏距离近的样本点同类的概率更大吗？

可以看到样本基本服从f(x) = x的线性分布，A与B相对于原点的距离依旧相等，显然A更像是一个离群点

即使数据已经经过了标准化，也不会改变AB与原点间距离大小的相互关系。所以要本质上解决这个问题，就要针对主成分分析中的主成分来进行标准化。

2.4 马氏距离的几何意义

上面搞懂了，马氏距离就好理解了，只需要将变量按照主成分进行旋转，让维度间相互独立，然后进行标准化，让维度同分布就OK了

由主成分分析可知，由于主成分就是特征向量方向，每个方向的方差就是对应的特征值，所以只需要按照特征向量的方向旋转，然后缩放特征值倍就可以了，可以得到以下的结果：

离群点就被成功分离，这时候的欧式距离就是马氏距离。

2.5 马氏距离的推导

2.6 为什么马氏距离是尺度无关的

根据上面1所描述，当计算两点的相似度（也可以说是距离的时候），第一步是首先标准化，化成与尺度无关的量，再计算它的距离。但是如果是单纯使每个变量先标准化，然后再计算距离，可能会出现某种错误，原因是可能在有些多维空间中，某个两个维之间可能是线性相关的，如下图所示(引用自：http://xgli0910.blog.163.com/blog/static/46962168201021932741868/）：

黄色部分为样品点，可以知道x1与x2是线性相关的，根据正态分布，对于中心点u，与A与B的标准距离应该是相同的，而马氏距离能做到这一点，但欧氏距离做不到，如下图所示：

为了解决这个问题，我们可以通过旋转坐标轴的方法，如下图所示：

可以看到y1与y2是线性无关的，因此我们可以通过对线性无关的分量进行标准化后，再求得距离是合理的。其实通过旋转坐标轴的方式，相当于对x进行相应的线性变换：Y = PX,使Y里面的各分变量变成线性无关的。设马氏距离的一些想法 - scau200630760309 - jianghaijin的博客是随机向量马氏距离的一些想法 - scau200630760309 - jianghaijin的博客=[x1,x2,…xp]的协方差矩阵，它有特征值-特征向量对(λ1,e1)， (λ2,e2)，…(λp,ep)，其中λ1>=λ2>=…>=λp，则第i主成分由

因此得到的新的变量Y里面的各分量是线性无关的，此时对于离中心点距离为某常数C形成的曲面是超椭球面。而yi的方差为λi，因而需要再把yi标准化，使之变成yi/λi，形成新的yi,这样生成的yi之间变成了与尺度无关的变量了，公式如下：

其中P是以特征向量为行向量的矩阵，根据正定距阵，特征向量互相正交。
现在来验证Y的协方差：

所以，对于旋转压缩后的Y的各分量之间线无关，而且已经标准化，与尺度无关，此时以Y分量为坐标轴形成的空间中，离中心距离为常数C的面为正圆球面。因而可以直接使用欧氏距离描述两点之间的相似度，也就是距离，因此有：

因此，当原坐标经过适当的变换之后，可以求出两点与尺度无关的距离，这也是使用马氏距离的原因。

参考文章：

1. 马氏距离的深入理解
2. 度量学习中的马氏距离