欧氏距离与马氏距离

总结：

DM(x)=(x−μ)T∑−1(x−μ)−−−−−−−−−−−−−−−−−√

马氏距离在欧式距离的基础上增加了(公司中x、u表示两个不同的变量)：

1. (xi-uj)，欧式距离只有(xi-uj)，即相同下标的x-u的乘积

2. (xi-ui)(xj-uj)的前面增加了一个系数，这个系数是xi和ui的协方差（协方差表示两个变量的相关性，正相关或负相关）

所以，使用了马氏距离，在不同的坐标维度上，比如i和j，距离单位不是等长的。比如在i坐标上，xi=2,yi=1，在j坐标上，xj=2,yj=1，这两个点在其对应的坐标上的马氏距离是和(xi,yi)，(xj,yj)各自的相关性有关的。他们的马氏距离并不相等。ai(xi-yi)和aj(xj-yj)，当他们没有相关性的时候，即ai=aj=1，这时，马氏距离变为欧式距离。

另外，马氏距离等价于在具有相关性的坐标系内进行一个变换，变换到一个无相关性的坐标系内求欧氏距离

https://www.zhihu.com/question/35211238

Preface

  之前在写《Multi-view CNNs for 3D Objects Recognition》的阅读笔记的时候，文章中的一个创新点便是将MVCNN网络提取到的3D Objects的形状特征描述符，投影到马氏距离（Mahalanobis Distance）上，“这样的话，相同类别3D形状之间的ℓ2距离在投影后的空间中就更小，而不同的类别之间的ℓ2在投影后会更大”，也更适用于3D形状的分类与检索。 
  后来我沿着这篇文章继续追踪这个马氏距离，发现在2013年BMVC会议上的《Fisher Vector Faces in the Wild》，2008年的PR会议上的《Learning a Mahalanobis distance metric for data clustering and classification》，这两篇文章都使用了马氏距离进行衡量特征向量之间的“远近”。 
  因此，我想搞清楚马氏距离以及欧式距离之间的区别。本文是之为记。 

Basis

  方差：方差是标准差的平方，而标准差的意义是数据集中各个点到均值点距离的平均值。反应的是数据的离散程度。 
  协方差：标准差与方差是描述一维数据的，当存在多维数据时，我们通常需要知道每个维数的变量中间是否存在关联。协方差就是衡量多维数据集中，变量之间相关性的统计量。比如说，一个人的身高与他的体重的关系，这就需要用协方差来衡量。如果两个变量之间的协方差为正值，则这两个变量之间存在正相关，若为负值，则为负相关。 
  协方差矩阵，当变量多了，超过两个变量了。那么，就用协方差矩阵来衡量这么多变量之间的相关性。假设  X  是以  n  个随机变数（其中的每个随机变数是也是一个向量，当然是一个行向量）组成的列向量： 

X=⎡⎣⎢⎢⎢⎢X1X2⋮Xn⎤⎦⎥⎥⎥⎥

  其中， μi 是第 i 个元素的期望值，即 μi=E(Xi) 。协方差矩阵的第 i,j 项（第 i,j 项是一个协方差）被定义为如下形式： 

∑i