马氏距离（Mahalanobis Distance）学习笔记

前言

马氏距离（Mahalanobis Distance）同我们熟悉的欧氏距离一样是为了度量数据间的差别。但当数据各个维度的变量分布不同并具有线性相关性时，欧氏距离并不能有效地度量出数据间的真实差别，而马氏距离可以解决这个问题。

1. 马氏距离的概述

马氏距离表示点与一个分布之间的距离。通过计算不同点到一个分布之间的马氏距离，我们可以比较这些点与分布间的相似程度，从而能够辅助推测这些点是否属于该分布。

首先给出两点间马氏距离的公式：
$$D_M(x,y)=\sqrt{(x-y{)}^T{\Sigma }^{-1}(x-y)}$$
其中$x$，$y$（向量）为样本中的两点，${\Sigma }^{-1}$为样本各变量间协方差矩阵的逆矩阵，当协方差矩阵为单位矩阵时，两点间的马氏距离等于欧氏距离。

2. 马氏距离的理解

我们分两种情况讨论：

1. 若变量间线性无关
   
   此时点A与点B距离样本中心点的距离相等，但我们直观地可以看出B更可能属于这个样本，而A大概率是离群点。造成这个结果的原因是在两点到中心点的距离都相等的情况下，样本在到B方向（横轴）的方差比在到A方向（纵轴）的方差要大。
   如果我们要合理地比较两点到此样本的距离，需将每个样本点以及A和B点除以样本每个变量方向上的样本标准差，使得这两个方向的方差等于1（标准化），然后再进行两点到样本中心点距离的比较。此时的距离为马氏距离。
2. 若变量间线性相关
   
   这次与上面的类似，A，B两点到样本中心点的距离是相等的，并且直观上来说点A是个离群点。但此时样本两个变量方向上的方差是相同的，如果用与上面相同的方法将每个样本点及A，B两点除以各变量方向上的样本标准差，我们会发现虽然此时样本各个变量的方差等于1，但A，B两点到样本中心点的距离依然是相等的，这样的距离无法合理地比较两点与样本间的相似程度。造成这样的原因是这个样本的变量在这个空间内是线性相关的，所以每个变量携带的信息不只是其方向上的单一信息，我们也就不能用方差来解释样本的真实形状。
   那么怎样做才能合理地比较它们与样本中心点的相似程度呢？遇到这种情况，我们首先需要将样本作主成分分析（PCA），消除各变量间的相关性，然后再通过情况1中的方法，算出它们到中心点的马氏距离，从而比较它们与样本的相似程度。

下图为转换后的样本点分布，其中每个点之间的欧氏距离为转换前数据的马氏距离：

3. 马氏距离公式的推导

设样本有$n$条数据，每条数据由$m$维向量表示，矩阵$X$是每条数据按列构成的$m\times n$矩阵，矩阵$Y$为由主成分分析得到的新坐标系下的数据，矩阵$P$由一组$m$维的基按行构成的矩阵，使得$Y=PX$。${\mu }_x$，${\mu }_y$分别是数据在原空间和新空间各变量均值组成的向量，${\mu }_X$为$n$个${\mu }_x$按列构成的矩阵，${\mu }_Y$为$n$个${\mu }_y$按列构成的矩阵。

由于
$${\mu }_Y=P{\mu }_X$$
所以$Y$的协方差矩阵${\Sigma }_Y$
$$\begin{array}{rl}{\Sigma }_Y& =\frac{1}{n}(Y-{\mu }_Y)(Y-{\mu }_Y{)}^T\\ & =\frac{1}{n}[P(X-{\mu }_X)][P(X-{\mu }_X){]}^T\\ & =P\frac{1}{n}(X-{\mu }_X)(X-{\mu }_X{)}^T{P}^T\\ & =P{\Sigma }_X{P}^T\end{array}$$
其中${\Sigma }_X$为$X$的协方差矩阵。由于在新空间数据的各个变量是线性无关的，所以${\Sigma }_Y$