高斯混合模型
高斯混合模型(Gaussian Mixture Model, GMM)是一种概率模型,用于对多个正态分布(高斯分布)进行加权组合,从而对数据进行建模。GMM 常被用于聚类和密度估计任务。
在 GMM 中,假设数据是由多个正态分布组成的混合体生成的。每个正态分布被称为一个"分量",这些分量的组合形成了混合模型。每个分量都由三个要素确定:均值、协方差矩阵和权重。数据点被分配给每个分量的概率由分量的权重决定。
GMM 的数学表达式如下:
p ( x ) = ∑ i = 1 k π i N ( x ∣ μ i , Σ i ) p(x) = \sum_{i=1}^{k} \pi_i \mathcal{N}(x|\mu_i, \Sigma_i) p(x)=∑i=1kπiN(x∣μi,Σi)
其中:
- k k k 是分量的数量。
- π i \pi_i πi 是第 i i i 个分量的权重,满足 ∑ i = 1 k π i = 1 \sum_{i=1}^{k} \pi_i = 1 ∑i=1kπi=1。
- N ( x ∣ μ i , Σ i ) \mathcal{N}(x|\mu_i, \Sigma_i) N(x∣μi,Σi) 是多维正态分布,由均值 μ i \mu_i μi 和协方差矩阵 Σ i \Sigma_i Σi确定。
GMM 的模型参数包括每个分量的均值、协方差矩阵和权重。这些参数通常通过使用期望最大化(Expectation-Maximization, EM)算法进行估计。
应用 GMM 的一种常见方法是在聚类问题中,其中每个分量对应于一个簇。另一方面,GMM 也可以用于密度估计,尤其是在数据中存在多个隐含模式时。
总体来说,GMM 是一个灵活的模型,适用于对数据进行复杂分布建模的场景。
多维正态分布
多元高斯密度函数是正态分布的推广,用于描述多维随机变量的概率分布。对于一个d维的随机变量 X = ( X 1 , X 2 , . . . , X d ) X = (X_1, X_2, ..., X_d) X=(X1,X2,...,Xd),其多元高斯密度函数 f ( x ) f(x) f(x)定义为:
f ( x ) = 1 ( 2 π ) d / 2 ∣ Σ ∣ 1 / 2 e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) f(x) = \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} e^{-\frac{1}{2}(x - \mu)^T \Sigma^{-1} (x - \mu)} f(x)=(2π)d/2∣Σ∣1/21e−21(x−μ)TΣ−1(x−μ)
其中:
- μ \mu μ 是一个d维向量,表示多元正态分布的均值向量。
- Σ \Sigma Σ 是一个d×d的对称正定协方差矩阵。
- ∣ Σ ∣ |\Sigma| ∣Σ∣ 表示协方差矩阵的行列式。
- x x x 是一个d维列向量,表示多元正态分布的取值。
这个概率密度函数描述了多维随机变量 X X X的概率分布。与一元高斯密度函数相比,多元高斯密度函数引入了协方差矩阵,表示不同维度之间的相关性。
多元高斯分布的概率密度函数具有一些重要的性质:
-
中心极限定理的多元推广:当独立同分布的随机变量的和具有有限的方差时,它们的均值趋向于多元正态分布。
-
球对称性:多元正态分布在变换下保持球对称性。
-
边缘分布:多元正态分布的边缘分布是一元正态分布。
-
条件分布:给定多元正态分布的一些分量,剩余分量的条件分布仍然是多元正态分布。
多元高斯分布在统计学、模式识别、机器学习等领域中被广泛应用,尤其在描述多维数据分布和参数估计方面具有重要作用。