马氏距离(Mahalanobis Distance)

目录

1 简单理解协方差的物理意义

2 什么是马氏距离

3 马氏距离实际意义

4 马氏距离的推导

4.1 马氏距离的步骤

4.2 马氏距离的推导过程

 5 马氏距离的问题

6 马氏距离的优点

7 欧氏距离和马氏距离之间的区别和联系

---

        马氏距离(Mahalanobis Distance)是度量学习中一种常用的距离指标，同欧氏距离、曼哈顿距离、汉明距离等一样被用作评定数据之间的相似度指标。但却可以应对高维线性分布的数据中各维度间非独立同分布的问题。

1 简单理解协方差的物理意义

（1）正相关

        在概率论中，两个随机变量 X 与 Y 之间相互关系，大致有下列3种情况：

         

        当 X, Y 的联合分布像上图那样时，我们可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，这种情况，我们称为“正相关”。

（2）负相关

        

        当X, Y 的联合分布像上图那样时，我们可以看出，大致上有：X 越大 Y 反而越小，X 越小 Y 反而越大，这种情况，我们称为“负相关”。

（3）不相关

        

        当X, Y 的联合分布像上图那样时，我们可以看出：既不是 X 越大 Y 也越大，也不是 X 越大 Y 反而越小，这种情况我们称为“不相关”。

        怎样将这3种相关情况，用一个简单的数字表达出来呢？

• 在图中的区域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；
• 在图中的区域（2）中，有 X<EX ，Y-EY>0 ，所以(X-EX)(Y-EY)<0；
• 在图中的区域（3）中，有 X<EX ，Y-EY<0 ，所以(X-EX)(Y-EY)>0；
• 在图中的区域（4）中，有 X>EX ，Y-EY<0 ，所以(X-EX)(Y-EY)<0。

        当X 与Y 正相关时，它们的分布大部分在区域（1）和（3）中，小部分在区域（2）和（4）中，所以平均来说，有E(X-EX)(Y-EY)>0 。

        当 X与 Y负相关时，它们的分布大部分在区域（2）和（4）中，小部分在区域（1）和（3）中，所以平均来说，有E(X-EX)(Y-EY)<0。

        当 X与 Y不相关时，它们在区域（1）和（3）中的分布，与在区域（2）和（4）中的分布几乎一样多，所以平均来说，有E(X-EX)(Y-EY)=0。

所以，我们可以定义一个表示X, Y 相互关系的数字特征，也就是协方差

cov(X, Y) = E(X-EX)(Y-EY)。

• 当 cov(X, Y)>0时，表明X与Y 正相关；
• 当 cov(X, Y)<0时，表明X与Y负相关；
• 当 cov(X, Y)=0时，表明X与Y不相关。

这就是协方差的意义。

在介绍马氏距离之前，我们先来看如下几个概念：

1. 方差：方差是标准差的平方，而标准差的意义是数据集中各个点到均值点距离的平均值。反应的是数据的离散程度。

2. 协方差： 标准差与方差是描述一维数据的，当存在多维数据时，我们通常需要知道每个维数的变量中间是否存在关联。协方差就是衡量多维数据集中，变量之间相关性的统计量。比如说，一个人的身高与他的体重的关系，这就需要用协方差来衡量。如果两个变量之间的协方差为正值，则这两个变量之间存在正相关，若为负值，则为负相关。

3. 协方差矩阵： 当变量多了，超过两个变量了。那么，就用协方差矩阵来衡量这么多变量之间的相关性。假设 X 是以 n 个随机变数（其中的每个随机变数是也是一个向量，当然是一个行向量）组成的列向量：

        

        其中，是第i个元素的期望值，即