高斯混合模型

高斯混合模型

高斯混合模型（Gaussian Mixture Model, GMM）是一种概率模型，用于对多个正态分布（高斯分布）进行加权组合，从而对数据进行建模。GMM 常被用于聚类和密度估计任务。

在 GMM 中，假设数据是由多个正态分布组成的混合体生成的。每个正态分布被称为一个"分量"，这些分量的组合形成了混合模型。每个分量都由三个要素确定：均值、协方差矩阵和权重。数据点被分配给每个分量的概率由分量的权重决定。

GMM 的数学表达式如下：

$p(x)={\sum }_{i=1}^k{\pi }_i\mathcal{N}(x|{\mu }_i,{\Sigma }_i)$

其中：

• $k$ 是分量的数量。
• ${\pi }_i$ 是第 $i$ 个分量的权重，满足${\sum }_{i=1}^k{\pi }_i=1$。
• $\mathcal{N}(x|{\mu }_i,{\Sigma }_i)$ 是多维正态分布，由均值${\mu }_i$ 和协方差矩阵${\Sigma }_i$确定。

GMM 的模型参数包括每个分量的均值、协方差矩阵和权重。这些参数通常通过使用期望最大化（Expectation-Maximization, EM）算法进行估计。

应用 GMM 的一种常见方法是在聚类问题中，其中每个分量对应于一个簇。另一方面，GMM 也可以用于密度估计，尤其是在数据中存在多个隐含模式时。

总体来说，GMM 是一个灵活的模型，适用于对数据进行复杂分布建模的场景。

多维正态分布

多元高斯密度函数是正态分布的推广，用于描述多维随机变量的概率分布。对于一个d维的随机变量 $X=(X_1,X_2,...,X_d)$，其多元高斯密度函数$f(x)$定义为：

$f(x)=\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$

其中：

• $\mu$ 是一个d维向量，表示多元正态分布的均值向量。
• $\Sigma$ 是一个d×d的对称正定协方差矩阵。
• $|\Sigma |$ 表示协方差矩阵的行列式。
• $x$ 是一个d维列向量，表示多元正态分布的取值。

这个概率密度函数描述了多维随机变量$X$的概率分布。与一元高斯密度函数相比，多元高斯密度函数引入了协方差矩阵，表示不同维度之间的相关性。

多元高斯分布的概率密度函数具有一些重要的性质：

1. 中心极限定理的多元推广：当独立同分布的随机变量的和具有有限的方差时，它们的均值趋向于多元正态分布。

2. 球对称性：多元正态分布在变换下保持球对称性。

3. 边缘分布：多元正态分布的边缘分布是一元正态分布。

4. 条件分布：给定多元正态分布的一些分量，剩余分量的条件分布仍然是多元正态分布。

多元高斯分布在统计学、模式识别、机器学习等领域中被广泛应用，尤其在描述多维数据分布和参数估计方面具有重要作用。