高斯混合模型(Gaussian Mixture Model,简称GMM)是一种概率模型
,用于表示由多个高斯分布(正态分布)
组成的复杂分布。
谱学习算法(Spectral Learning Algorithms)是一类利用线性代数中的矩阵分解
技术来估计模型参数的方法,在自然语言处理、机器学习等领域有广泛的应用。
高斯混合模型(GMM)
目标公式:
给定一组观测数据
{
x
i
}
\{x_i\}
{xi},GMM 可以用以下混合密度函数
来描述:
p ( x ∣ θ ) = ∑ k = 1 K π k N ( x ∣ μ k , Σ k ) p(x|\theta) = \sum_{k=1}^{K} \pi_k \mathcal{N}(x|\mu_k,\Sigma_k) p(x∣θ)=k=1∑KπkN(x∣μk,Σk)
其中,
-
x
x
x 是一个
观测样本。
-
K
K
K 是
混合成分的数量。
-
π
k
\pi_k
πk 是第
k
k
k 个高斯分布的
权重
,满足 ∑ k = 1 K π k = 1 \sum_{k=1}^{K} \pi_k = 1 ∑k=1Kπk=1。 -
N
(
x
∣
μ
k
,
Σ
k
)
\mathcal{N}(x|\mu_k,\Sigma_k)
N(x∣μk,Σk) 表示
均值
为 μ k \mu_k μk、协方差矩阵
为 Σ k \Sigma_k Σk 的第 k k k 个高斯分布的概率密度函数。
涉及到的公式及其作用:
-
高斯分布的概率密度函数:
N ( x ∣ μ k , Σ k ) = 1 ( 2 π ) D / 2 ∣ Σ k ∣ 1 / 2 exp ( − 1 2 ( x − μ k ) T Σ k − 1 ( x − μ k ) ) \mathcal{N}(x|\mu_k,\Sigma_k) = \frac{1}{(2\pi)^{D/2}|\Sigma_k|^{1/2}} \exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma_k^{-1}(x-\mu_k)\right) N(x∣μk,Σk)=(2π)D/2∣Σk∣1/21exp(−21(x−μk)TΣk−1(x−μk))-
D
D
D 是
数据的维度。
-
∣
Σ
k
∣
|\Sigma_k|
∣Σk∣ 是
协方差矩阵的行列式。
-
Σ
k
−
1
\Sigma_k^{-1}
Σk−1 是
协方差矩阵的逆矩阵。
-
(
x
−
μ
k
)
T
(x-\mu_k)^T
(x−μk)T 是向量
x
−
μ
k
x-\mu_k
x−μk 的
转置。
-
D
D
D 是
谱学习算法
谱学习算法通常利用矩阵或张量
的特征结构来估计模型参数。
对于 GMM,谱方法可以避免期望最大化(EM)算法的局部最优问题,提供一种全局最优的解法。
谱学习算法的步骤:
- 构造低阶矩矩阵:通常使用样本的低阶统计信息(如一阶、二阶矩)来构造矩阵。
M = E [ x x T ] M = E[x x^T] M=E[xxT]
这里 M M M 是样本的二阶矩矩阵, E [ ⋅ ] E[\cdot] E[⋅] 表示期望操作。
- 特征值分解:对矩阵
M
M
M 进行
特征值分解
,得到特征向量和特征值。
M = U Λ U T M = U \Lambda U^T M=UΛUT
-
U
U
U 是
特征向量矩阵。
-
Λ
\Lambda
Λ 是对角线上包含
特征值的矩阵。
- 估计 GMM 参数:从特征向量和特征值中估计出高斯混合模型的参数 μ k \mu_k μk、 Σ k \Sigma_k Σk 和 π k \pi_k πk。
由于谱学习算法的具体实现细节可能会因不同的场景而有所变化,所以具体的参数估计过程会有所不同。
但大体上,谱学习算法会利用矩阵的特征值和特征向量与 GMM 参数之间的关系来进行估计。