多元高斯分布的概率密度函数 (PDF) 的详细解释

最新推荐文章于 2024-10-09 22:04:21 发布

苏西月

最新推荐文章于 2024-10-09 22:04:21 发布

阅读量524

点赞数 20

分类专栏： aml 文章标签： pdf 机器学习人工智能

本文链接：https://blog.csdn.net/qq_51011530/article/details/142767076

版权

aml 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

简介

多元高斯分布，又称为多元正态分布，是将一维（单变量）正态分布推广到更高维度的结果。在统计学和机器学习中，多元高斯分布对于建模具有线性关系的多变量数据至关重要。理解其概率密度函数（PDF）对于参数估计、假设检验以及数据分析等任务非常重要。

多元高斯 PDF 的定义

如何计算协方差矩阵

对于一个随机向量 $\mathbf{x} \in \mathbb{R}^n$ ，其均值向量为 $\boldsymbol{\mu} \in \mathbb{R}^n$ ，协方差矩阵为 $\boldsymbol{\Sigma} \in \mathbb{R}^{n \times n}$ 的多元高斯分布的概率密度函数（PDF）定义为：

$f(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^n |\boldsymbol{\Sigma}|}} \exp\left( -\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu}) \right)$

其中：

$\mathbf{x}$ ：一个 $n$ 维的随机向量。
$\boldsymbol{\mu}$ ：分布的均值（期望值）向量。
$\boldsymbol{\Sigma}$ ：协方差矩阵，且该矩阵对称且正定。
$|\boldsymbol{\Sigma}|$ ：协方差矩阵的行列式。
$\boldsymbol{\Sigma}^{-1}$ ：协方差矩阵的逆矩阵。
$(\mathbf{x} - \boldsymbol{\mu})^\top$ ：向量差 $(\mathbf{x} - \boldsymbol{\mu})$ 的转置。

各个组成部分的解释

1. 均值向量 ( $\boldsymbol{\mu}$ )

均值向量表示分布在 $n$ 维空间中的中心位置：

$\boldsymbol{\mu} = E[\mathbf{X}] = \begin{bmatrix} E[X_1] \\ E[X_2] \\ \vdots \\ E[X_n] \end{bmatrix}$

其中，每个元素 $E[X_i]$ 是随机变量 $X_i$ 的期望值。

2. 协方差矩阵 ( $\boldsymbol{\Sigma}$ )

协方差矩阵捕获了每个变量的方差和变量之间的协方差：

$\boldsymbol{\Sigma} = \begin{bmatrix} \operatorname{Var}[X_1] & \operatorname{Cov}[X_1, X_2] & \dots & \operatorname{Cov}[X_1, X_n] \\ \operatorname{Cov}[X_2, X_1] & \operatorname{Var}[X_2] & \dots & \operatorname{Cov}[X_2, X_n] \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{Cov}[X_n, X_1] & \operatorname{Cov}[X_n, X_2] & \dots & \operatorname{Var}[X_n] \end{bmatrix}$

方差 $X_i$ ： $\operatorname{Var}[X_i] = E[(X_i - E[X_i])^2]$
协方差 $X_i$ 和 $X_j$ 之间的协方差： $\operatorname{Cov}[X_i, X_j] = E[(X_i - E[X_i])(X_j - E[X_j])]$

3. 协方差矩阵的行列式 ( $|\boldsymbol{\Sigma}|$ )

行列式是一个标量值，表示由协方差矩阵 $\boldsymbol{\Sigma}$ 定义的变换的“体积”缩放因子。它出现在 PDF 的归一化常数中。

4. 协方差矩阵的逆矩阵 ( $\boldsymbol{\Sigma}^{-1}$ )

也称为精度矩阵，它量化了变量的不确定性，并用于计算指数中的马氏距离。

5. 马氏距离

指数中的项：

$D^2 = (\mathbf{x} - \boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})$

表示点 $\mathbf{x}$ 和均值 $\boldsymbol{\mu}$ 之间的平方马氏距离，衡量了 $\mathbf{x}$ 离 $\boldsymbol{\mu}$ 多远，考虑了协方差结构。

PDF 的推导

步骤 1：理解单变量情况

对于一个均值为 $\mu$ 且方差为 $\sigma^2$ 的单变量正态分布，其 PDF 为：

$\frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)$

步骤 2：推广到多变量情况

在多维情况下：

将标量均值 $\mu$ 替换为均值向量 $\boldsymbol{\mu}$ 。
将标量方差 $\sigma^2$ 替换为协方差矩阵 $\boldsymbol{\Sigma}$ 。
将平方差 $\mu)^2$ 替换为二次型 $(\mathbf{x} - \boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})$ 。

步骤 3：确保归一化

归一化常数 $\frac{1}{\sqrt{(2\pi)^n |\boldsymbol{\Sigma}|}}$ 确保了 PDF 在整个空间上积分为 1。

多元高斯分布的性质

1. 边际分布

多元高斯向量的任意子集也是高斯分布。如果 $\mathbf{X}$ 是多元高斯分布，那么其分量的任意线性组合也是正态分布。

2. 条件分布

给定另一个变量的情况下，多元高斯的条件分布也是高斯分布。条件分布的均值和协方差可以从联合分布中推导出来。

3. 独立性与非相关性

对于多元高斯分布，零协方差意味着独立性。如果 $\operatorname{Cov}[X_i, X_j] = 0$ ，则 $X_i$ 和 $X_j$ 是独立的。

4. 仿射变换

多元高斯随机向量的仿射变换结果也是多元高斯分布。如果 $\mathbf{Y} = \mathbf{A}\mathbf{X} + \mathbf{b}$ ，则 $\mathbf{Y}$ 是高斯分布，其均值为 $\mathbf{A}\boldsymbol{\mu} + \mathbf{b}$ ，协方差为 $\mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^\top$ 。

理解马氏距离

马氏距离考虑了变量之间的协方差，提供了一个不依赖尺度的距离度量：

欧几里得距离：假设变量无相关性且具有单位方差，直接测量直线距离。
马氏距离：调整相关性和不同方差，提供了多变量空间中更准确的距离度量。

可视化

1. 等高线图

在二维情况下，PDF 可以可视化为以 $\boldsymbol{\mu}$ 为中心的椭圆等高线：

椭圆的形状和方向由协方差矩阵 $\boldsymbol{\Sigma}$ 决定。
椭圆上的点具有相同的概率密度。

2. 等值面

在更高维度中，PDF 形成椭球（等值面），在这些椭球上概率密度是常数。

实例

例子 1：二维高斯分布

对于 $n = 2$ ，具有变量 $X_1$ 和 $X_2$ ，均值向量 $\boldsymbol{\mu} = \begin{bmatrix} \mu_1 \\ \mu_2 \end{bmatrix}$ ，协方差矩阵为：

$\boldsymbol{\Sigma} = \begin{bmatrix}\sigma_1^2 & \rho \sigma_1 \sigma_2 \\\rho \sigma_1 \sigma_2 & \sigma_2^2\end{bmatrix}$

其中：

$\sigma_1^2$ 和 $\sigma_2^2$ 是方差。
$\rho$ 是 $X_1$ 和 $X_2$ 之间的相关系数。

PDF 表达式：

$f(\mathbf{x}) = \frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1 - \rho^2}} \exp\left( -\frac{1}{2(1 - \rho^2)} \left[ \left( \frac{x_1 - \mu_1}{\sigma_1} \right)^2 - 2\rho \left( \frac{x_1 - \mu_1}{\sigma_1} \right)\left( \frac{x_2 - \mu_2}{\sigma_2} \right) + \left( \frac{x_2 - \mu_2}{\sigma_2} \right)^2 \right] \right)$

该公式展示了相关性如何影响联合分布。

参数估计

给定一个数据集 $\{\mathbf{x}_1, \mathbf{x}_2, \dots, \mathbf{x}_N\}$ ，均值向量和协方差矩阵的最大似然估计（MLE）为：

1. 均值向量估计

$\hat{\boldsymbol{\mu}} = \frac{1}{N} \sum_{i=1}^N \mathbf{x}_i$

2. 协方差矩阵估计

$\hat{\boldsymbol{\Sigma}} = \frac{1}{N} \sum_{i=1}^N (\mathbf{x}_i - \hat{\boldsymbol{\mu}})(\mathbf{x}_i - \hat{\boldsymbol{\mu}})^\top$

这些估计值在高斯假设下最大化了似然函数。

应用

1. 机器学习

高斯混合模型（GMMs）：用于通过将数据建模为多元高斯分布的混合来进行聚类。
线性判别分析（LDA）：假设类的分布是高斯分布，用于降维和分类。
主成分分析（PCA）：依赖于数据的协方差矩阵，假设数据呈现高斯分布。

2. 信号处理

卡尔曼滤波器：使用高斯模型来估计动态系统的状态。
噪声建模：高斯噪声是信号和图像处理中常见的假设。

3. 统计推断

假设检验：如Hotelling的 $T^2$ 检验基于多元正态分布。
置信区域：构建多个参数的同时置信区间。

性质与定理

1. 独立高斯向量的和

如果 $\mathbf{X} \sim N(\boldsymbol{\mu}_X, \boldsymbol{\Sigma}_X)$ 且 $\mathbf{Y} \sim N(\boldsymbol{\mu}_Y, \boldsymbol{\Sigma}_Y)$ 是独立的，则：

$\mathbf{Z} = \mathbf{X} + \mathbf{Y} \sim N(\boldsymbol{\mu}_X + \boldsymbol{\mu}_Y, \boldsymbol{\Sigma}_X + \boldsymbol{\Sigma}_Y)$

2. 线性变换

对于任意矩阵 $\mathbf{A}$ 和向量 $\mathbf{b}$ ：

$\mathbf{Y} = \mathbf{A}\mathbf{X} + \mathbf{b} \implies \mathbf{Y} \sim N(\mathbf{A}\boldsymbol{\mu} + \mathbf{b}, \mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^\top)$

理解归一化常数中的行列式

行列式 $|\boldsymbol{\Sigma}|$ 在 $n$ 维空间中适当缩放了分布：

较大的行列式意味着更宽的分布。
它调整 PDF 的高度，使得总概率积分为 1。

马氏距离与欧几里得距离的区别

欧几里得距离：假设变量无相关性且具有单位方差，直接测量直线距离。
马氏距离：调整变量之间的相关性和不同的方差，在多变量情况下提供了更准确的距离度量。

为什么协方差矩阵必须是正定的？

正定的 $\boldsymbol{\Sigma}$ 确保二次型 $(\mathbf{x} - \boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})$ 始终非负。
这保证了指数项为非正，从而确保 PDF 始终为非负且有限。

计算考虑因素

1. 数值稳定性

对协方差矩阵求逆可能对条件不良的矩阵不稳定。
通过在 $\boldsymbol{\Sigma}$ 的对角线上添加小值进行正则化可以提高稳定性。

2. 高维数据

当 $n$ 增大时，涉及行列式和逆矩阵的计算变得复杂。
可以通过降维技术（如PCA）减少计算成本。

示例计算

已知：

$\boldsymbol{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$
$\boldsymbol{\Sigma} = \begin{bmatrix} 1 & 0.5 \\ 0.5 & 2 \end{bmatrix}$
点 $\mathbf{x} = \begin{bmatrix} 1 \\ -1 \end{bmatrix}$

计算 $\mathbf{x}$ 处的 PDF：

计算 $|\boldsymbol{\Sigma}|$ ：

$|\boldsymbol{\Sigma}| = (1)(2) - (0.5)^2 = 2 - 0.25 = 1.75$

计算 $\boldsymbol{\Sigma}^{-1}$ ：

$\boldsymbol{\Sigma}^{-1} = \frac{1}{|\boldsymbol{\Sigma}|} \begin{bmatrix} 2 & -0.5 \\ -0.5 & 1 \end{bmatrix} = \frac{1}{1.75} \begin{bmatrix} 2 & -0.5 \\ -0.5 & 1 \end{bmatrix}$

计算马氏距离 $D^2$ ：

$D^2 = (\mathbf{x} - \boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})$

计算 $(\mathbf{x} - \boldsymbol{\mu}) = \mathbf{x}$ ：

$\mathbf{x} = \begin{bmatrix} 1 \\ -1 \end{bmatrix}$

进行乘法计算，得到 $D^2$ 。

计算 PDF：

$f(\mathbf{x}) = \frac{1}{2\pi \sqrt{1.75}} \exp\left( -\frac{1}{2} D^2 \right)$

将已计算的值代入，求得 $f(\mathbf{x})$ 。

结论

多元高斯分布是建模和分析多变量数据的有力工具。其概率密度函数提供了对分布行为的全面描述，通过协方差矩阵涵盖了变量的个体特征及其相互关系。掌握这一概念对于高级统计分析和机器学习应用至关重要。

参考文献

Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.
Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.