马氏距离(Mahalanobis Distance)

概念

马哈拉诺比斯距离 Mahalanobis Distance，简称马氏距离，是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化，形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。

计算方法

假设某样本集服从均值为 $\mu$，协方差矩阵为 $\Sigma$ 的高斯分布，则该空间上的任意一个点 $x$ 到样本集均值 $\mu$ 的马氏距离可以表示为
$$d(x,\mu )=\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

推算与证明

协方差矩阵 $\Sigma$ 特征值分解
$$\Sigma =UQ{U}^T$$
其中 $U=[{\text{u}}_1,{\text{u}}_2,...,{\text{u}}_p]$ 是由归一化后的特征列向量组成的正交矩阵，满足 $U{U}^T=E$，$U^{-1}=U^T$，$(U^T{)}^{-1}=U$，$Q=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_p)$ ，$Q^{-1}=diag(\frac{1}{{\lambda }_1},\frac{1}{{\lambda }_2},\cdots ,\frac{1}{{\lambda }_p})$。
对$\Sigma$求逆可得
$${\Sigma }^{-1}=(UQ{U}^T{)}^{-1}=(U^T{)}^{-1}{Q}^{-1}{U}^{-1}=U{Q}^{-1}{U}^T=U\Lambda {\Lambda }^T{U}^T$$

$\Lambda =diag(\frac{1}{\sqrt{{\lambda }_1}},\frac{1}{\sqrt{{\lambda }_2}},...,\frac{1}{\sqrt{{\lambda }_p}})$ 是对 $Q^{-1}$ 的 cholesky 分解，同样也是对角矩阵，满足${\Lambda }^T=\Lambda$。
代入${\Sigma }^{-1}$后再观察马氏距离$d(x,\mu )$
$$\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}=\sqrt{(\Lambda U^T(x-\mu ){)}^T(\Lambda U^T(x-\mu ))}$$
其中 $U^T(x-\mu )$ 可以理解为将数据点投影到每个特征向量上，形成了一个新的以特征向量（主成分）为基向量的坐标系。
新坐标系的样本集的协方差矩阵变为了 $U^T\Sigma U=Q$ 。而 $\Lambda$ 对角矩阵的作用是对坐标系进行缩放，缩放后样本集的协方差矩阵为 $\Lambda Q{\Lambda }^T=I$。
因此变换后的样本集各个维度方差为1且各维度不相关。这个变换后的空间即规范化后的主成分空间。最后使用欧氏距离公式即可。