马氏距离（马哈拉诺比斯距离，Mahalanobis Distance）计算步骤示例

正义的彬彬侠

于 2024-09-28 17:43:52 发布

阅读量725

点赞数 13

分类专栏：机器学习数学基础文章标签：机器学习分类 k-近邻算法矩阵人工智能

本文链接：https://blog.csdn.net/u013172930/article/details/142618817

版权

机器学习同时被 2 个专栏收录

105 篇文章 3 订阅

订阅专栏

数学基础

26 篇文章 0 订阅

订阅专栏

我们来一步步计算一个简单的马氏距离（Mahalanobis Distance）例子。

问题：

假设我们有两个样本向量 $x$ 和 $y$ ，它们的特征向量是：

$\begin{pmatrix} 1 \\ 2 \end{pmatrix}, \quad y = \begin{pmatrix} 3 \\ 4 \end{pmatrix}$

同时，这些样本数据有协方差矩阵 $S$ ：
$\begin{pmatrix} 2 & 0.5 \\ 0.5 & 1 \end{pmatrix}$

我们需要计算 $x$ 和 $y$ 之间的马氏距离。

步骤：

1. 计算样本差向量

首先，计算两个样本 $x$ 和 $y$ 之间的差向量 $d = x - y$ ：
$\begin{pmatrix} 1 \\ 2 \end{pmatrix} - \begin{pmatrix} 3 \\ 4 \end{pmatrix} = \begin{pmatrix} -2 \\ -2 \end{pmatrix}$

2. 计算协方差矩阵的逆矩阵

马氏距离需要协方差矩阵 $S$ 的逆矩阵 $S^{-1}$ 。首先我们计算 $S$ 的逆矩阵。

协方差矩阵 $\begin{pmatrix} 2 & 0.5 \\ 0.5 & 1 \end{pmatrix}$ ，它的逆矩阵可以通过公式计算，也可以使用线性代数方法求得。为了简化，我们直接给出逆矩阵 $S^{-1}$ 为：
$S^{-1} = \begin{pmatrix} 0.5714 & -0.2857 \\ -0.2857 & 1.1429 \end{pmatrix}$

3. 计算马氏距离

马氏距离的公式为：
$\sqrt{(x - y)^T S^{-1} (x - y)}$

先计算 $x - y)^T S^{-1}$ ：
$d^T S^{-1} = \begin{pmatrix} -2 & -2 \end{pmatrix} \begin{pmatrix} 0.5714 & -0.2857 \\ -0.2857 & 1.1429 \end{pmatrix}$

通过矩阵乘法计算：
$\begin{pmatrix} -2 \times 0.5714 + (-2) \times (-0.2857) & -2 \times (-0.2857) + (-2) \times 1.1429 \end{pmatrix}$
$\begin{pmatrix} -1.1428 + 0.5714 & 0.5714 - 2.2858 \end{pmatrix} = \begin{pmatrix} -0.5714 & -1.7144 \end{pmatrix}$

再乘以差向量 $\begin{pmatrix} -2 \\ -2 \end{pmatrix}$ ：
$\begin{pmatrix} -0.5714 & -1.7144 \end{pmatrix} \begin{pmatrix} -2 \\ -2 \end{pmatrix} = (-0.5714 \times -2) + (-1.7144 \times -2)$
$= 1.1428 + 3.4288 = 4.5716$