机器学习——马氏距离

前言

在介绍马氏距离之前，我们首先看如下概念：

• 方差：方差是标准差的平方，而标准差的意义是数据集中各个点到均值点距离的平均值。反应的是数据的离散程度
• 协方差：标准差与方差是描述一维数据的，当存在多维数据时，我们通常需要知道每个维数的变量中间是否存在关联。**协方差就是衡量多维数据集中，变量之间相关性的统计量。**比如说，一个人的身高与他的体重的关系，这就需要用协方差来衡量。如果两个变量之间的协方差为正值，则这两个变量之间存在正相关，若为负值，则为负相关。
• 协方差矩阵：当变量多了，超过两个变量了。那么，就用协方差矩阵来衡量这么多变量之间的相关性。假设X是以n个随机变数组成的列向量：
  $$X=\left[\begin{array}{l}{X}_1\\ X_2\\ ...\\ X_n\end{array}\right]$$
  其中，${\mu }_i$是第i个元素的期望值，即${\mu }_i=E(X_i)$。协方差矩阵$\Sigma$的第i,j项被定义为如下形式：
  $$\sum _{ij}=cov(X_i,X_j)=E[(X_i-{\mu }_i)(X_j-{\mu }_j)]$$

马氏距离

$$D_M(x)=\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$
特别的，当$\Sigma =I$时，马氏距离退化为欧氏距离。

马氏距离是由马哈拉诺比斯提出的，表示数据的协方差矩阵。马氏距离是一种距离的度量，可以看作是欧式距离的一种修正，修正了欧式距离中各个维度尺度不一致且相关的问题。它是一种有效的计算两个未知样本集的相似度的方法。与欧式距离不同的是它考虑到各种特性之间的联系，并且是尺度无关的，即独立于测量尺度
马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为$\Sigma$的随机变量$X$与$Y$的差异程度。

马氏距离的推导

对协方差矩阵$\Sigma$进行特征分解，有：
$\Sigma =U\Lambda U^T,U{U}^T=I,\Lambda =diag({\lambda }_i),U=(U_1,...,U_p)$
因此，
$$\begin{gathered} \Sigma =(U_1,U_2,...,U_p)\Lambda (U_1,U_2,..,U_p{)}^T \\ =\sum _{i=1}^p{U}_i{\lambda }_i{U}_i^T \end{gathered}$$
得到马氏距离为：
$$\begin{gathered} D_M(x)=\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )} \\ =\sqrt{(X-\mu {)}^T\sum _{i=1}^p{U}_i\frac{1}{{\lambda }_i}{U}_i^T(X-\mu )} \\ =\sqrt{\sum _{i=1}^p(X-\mu {)}^T{U}_i\frac{1}{{\lambda }_i}{U}_i^T(X-\mu )} \end{gathered}$$
设$y_i=(x-\mu {)}^T{u}_i$
上式可以化简为：
$$\begin{gathered} \sum _{i=1}^p{y}_i\frac{1}{{\lambda }_i}{y}_i^T \\ =\sum _{i=1}^p\frac{y_i^2}{{\lambda }_i} \end{gathered}$$
当$p=2$，时$\frac{y_1^2}{{\lambda }_1}+\frac{y_2^2}{{\lambda }_2}=1$,
可以得到该函数图像为一个椭圆曲线，其中y坐标轴与x坐标轴经过了一个平移及缩放变换