欧式距离和马氏距离的关系（公式推导）

欧氏距离（Euclidean Distance）与马氏距离（Mahalanobis Distance）

欧氏距离

1. 度量样本和样本分布间的距离$$\begin{array}{r}d(x,\mu )=\sqrt{(x-\mu {)}^T(x-\mu )}\end{array}$$其中$x=(x_1,x_2,\dots ,x_n{)}^T$是n维向量，$\mu =({\mu }_1,{\mu }_2,\dots ,{\mu }_n{)}^T$是样本分布的中心，即 $$\begin{array}{r}d(x,\mu )=\sqrt{\sum _{i=1}^n(x_i-{\mu }_i{)}^2}\end{array}$$
2. 度量样本和样本的距离 $$\begin{array}{r}d(x,y)=\sqrt{(x-y{)}^T(x-y)}\end{array}$$其中，$x=(x_1,x_2,\dots ,x_n{)}^T$、$y=(y_1,y_2,\dots ,y_n{)}^T$均为n维向量，即$$\begin{array}{r}d(x,y)=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}\end{array}$$

协方差

1. 对于m个一维数据$(x_1,x_2,\dots ,x_m)$,它们的方差为：$$\begin{array}{r}{\sigma }^2=\frac{{\sum }_{i=1}^m(x_i-\mu {)}^2}{m-1}\end{array}$$方差反应数据的离散程度，但高维数据没有方差的概念，高维数据集通常使用协方差描述数据各个维度之间的相关性。
2. 对m个n维数据$$\begin{array}{r}X=\left[\begin{array}{cccc}{x}_{11}& x_{21}& \dots & x_{m1}\\ x_{12}& x_{22}& \dots & x_{m2}\\ \dots & \dots & \dots & \dots \\ x_{1n}& x_{2n}& \dots & x_{mn}\end{array}\right]=\left[\begin{array}{c}{X}_1\\ X_2\\ \dots \\ X_n\end{array}\right]\end{array}$$ $X$的每一列对应样本集中的一个n维数据，数据集中共包括m个样本，其中每一维的均值为${\mu }_i=E(X_i)$。该样本集的协方差矩阵为：$$\begin{array}{r}S=\frac{(X-\mu )(X-\mu {)}^T}{m-1}\end{array}$$

马氏距离

1. 度量样本和样本分布间的距离$$\begin{array}{r}d=\sqrt{(x-\mu {)}^T{S}^{-1}(x-\mu )}\end{array}$$其中$x=(x_1,x_2,\dots ,x_n{)}^T$是n维向量，$\mu =({\mu }_1,{\mu }_2,\dots ,{\mu }_n{)}^T$是样本分布的中心，S是样本集的协方差矩阵。

---

实例分析

已知一个聚类，A为该聚类的聚类中心，聚类的其他样本由红色标出。对于样本B、C，如果要判断谁和样本A的距离最近，可以采用以下两种方式：

1. 使用欧式距离判断，显然C离A更近。但此时并没有考虑数据的分布，默认数据呈圆形分布，即默认数据各维的方差相同。因此使用欧式距离进行判断并不完善。
2. 使用马氏距离判断，充分考虑数据各维的相关性和各维的方差，此时应为B距离A更近。

使用欧式距离时，不考虑数据不同维度的方差，也不考虑数据不同维度的相关性。 因此数据集已知时，通常使用马氏距离代替欧式距离。

---

深入理解（公式推导）

原空间的马氏距离等价于变换空间中的欧式距离。为了方便理解，后面的内容仅讨论二维数据，且各维的均值都为0（数据已中心化）。

1. 原空间
   在原空间中，数据集各维之间存在相关性，且各维的方差存在差异。此时某个样本$x$到聚类中心的马氏距离为：$$\begin{array}{r}d=\sqrt{x^T{S}_X^{-1}x}\end{array}$$原空间中样本集的协方差矩阵为：$$\begin{array}{r}{S}_X=E(X{X}^T)=\left[\begin{array}{cc}{\sigma }_{x_1}^2& cov(x_1,x_2)\\ cov(x_2,x_1)& {\sigma }_{x_2}^2\end{array}\right]\end{array}$$
2. 消除数据各维的相关性，即对数据集进行正交变换
   令$y=Ax$，其中$A$是正交矩阵，即$$\begin{array}{r}x=A^{-1}y=A^{T}y\end{array}$$该空间中样本集的协方差矩阵为:$$\begin{array}{r}{S}_Y=E(Y{Y}^T)=E(Ax{x}^T{A}^T)=A{S}_X{A}^{-1}\end{array}$$即：
   $$\begin{array}{r}{S}_X=A^{-1}{S}_{Y}A\end{array}$$在当前空间中，样本集的协方差矩阵为：$$S_Y=\left[\begin{array}{cc}{\sigma }_{y_1}^2& 0\\ 0& {\sigma }_{y_2}^2\end{array}\right]$$也就是说，在当前空间中，数据的各维不相关。
3. 各维方差归一化
   令$$\left[\begin{array}{c}z1\\ z2\end{array}\right]=\left[\begin{array}{cc}\frac{1}{{\sigma }_1}& 0\\ 0& \frac{1}{{\sigma }_2}\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]=\left[\begin{array}{c}\frac{y_1}{{\sigma }_1}\\ \frac{y_2}{{\sigma }_2}\end{array}\right]$$为了方便表示，令$$B=\left[\begin{array}{cc}\frac{1}{{\sigma }_1}& 0\\ 0& \frac{1}{{\sigma }_2}\end{array}\right]$$则：$z=By$，$y=B^{-1}z$。在该空间中，样本集的协方差矩阵为：$$\begin{array}{r}{S}_Z=E(Z{Z}^T)=E(BY{Y}^T{B}^T)=B{S}_Y{B}^T\end{array}$$即：$$\begin{array}{r}{S}_Y=B^{-1}{S}_Z{B}^{-1}\end{array}$$在当前空间中，样本集的协方差矩阵为：
   $$S_Z=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$也就是说，在当前空间中，数据各维的方差均为1。

综上所述，原空间的马氏距离为：$$\begin{array}{rl}d& =\sqrt{x^T{S}_X^{-1}x}\\ & =\sqrt{y^{T}A{A}^{-1}{S}_Y^{-1}A{A}^{T}y}\\ & =\sqrt{y^T{S}_Y^{-1}y}\\ & =\sqrt{z^T{B}^{-1}B{S}_{Z}B{B}^{-1}z}\\ & =\sqrt{z^T{S}_{Z}z}\\ & =\sqrt{z^{T}z}\end{array}$$也就是说，原空间的马氏距离等价于转换空间中的欧式距离。在转换空间中，数据各维之间不相关且数据各维的方差均为1。

---

马氏距离的优势

当数据分布已知时，通常使用马氏距离代替欧式距离。马氏距离适用于数据各维存在相关性或数据各维方差存在差异（数据分布呈椭圆形）的情况。