高斯混合模型与EM算法求解

高斯混合模型

混合模型是一个用来表示在总体分布中含有K个子分布的概率模型，也就是说，混合模型表示了观测数据在总体中的概率分布，它由K个子分布组成的混合分布。

高斯混合模型可以看作是由K个单高斯模型组合而成的模型

定义如下：

高斯混合模型的概率分布为：

对于单高斯模型，可以用最大似然法估计参数$\theta$的值


取对数，连乘转换为连加

对于高斯混合模型，对数似然则为：

EM算法

例子：

EM算法详解+通俗例子理解_呆呆象呆呆的博客-CSDN博客_em算法实例

对于M个相互独立的样本 $x=(x^{(1)},x^{(2)},...,x^{(m)})$，对应的隐含数据$z=(z^{(1)},z^{(2)},..,z^{(m)})$，此时$(x,z)$为完全数据，则观测数据$x^{(i)}$的概率为$P(x^{(i)}|\theta )$，完全数据$(x^{(i)},z^{(i)})$的似然函数为$P(x^{(i)},z^{(i)}|\theta )$

关于隐含数据分布$Q_i(z^{(i)})$，${\sum }_z{Q}_i(z)=1,Q_i(z)\in [0,1]$

可以把上式$Q_i(z)$看成概率

用到了Jensen不等式

由$Jensen$不等式可知，等式成立的条件是随机变量时常数，则有

对于任意的i，我们得到

方程两边同时累加和：

E步：计算联合分布的条件概率期望：

根据参数的初始值或上一次迭代的模型参数来计算隐含变量的后验概率，其实就是隐含变量的期望值。

M步：极大化$L(\theta )$，得到$\theta$

首先我们固定 $\theta$，调整$Q(z)$ 使下界$J(z,Q)$ 上升至与$L(\theta )$ 在此点$\theta$处相等，然后固定$Q(z)$，调整$\theta$使下界$J(z,Q)$ 达到最大值${\theta }_t$

高斯混合模型参数估计

1、样本分类已知情况下的GMM

设样本容量为N，总类别为K，属于K个分类的样本数量分别是$N_1,N_2,...,N_K$

属于第k个分类的样本集合为$L(k)$

第k个类别的概率 ${\alpha }_k=\frac{N_k}{N}$

第k类的均值 ${\mu }_k=\frac{1}{N_k}\sum _{x\in L(x)}x$

第k类的协方差： ${\Sigma }_k=\frac{1}{N_k}\sum _{x\in L(x)}(x-{\mu }_k)(x-{\mu }_k{)}^T$

2、样本分类未知的情况下的GMM

论文中：

$logL(\theta )=\sum _{n=1}^{N}log\sum _{k=1}^K{\pi }_{k}N(R_n|0,{\Sigma }_k)$

$N$为样本的个数，$K$为子高斯的个数，${\pi }_k$为混合系数，$R_n$为第n个样本的雨线

E步：

假设模型参数已知的情况下求隐含变量z，E步就是求R由各个子高斯生成的概率

${\gamma }_{nk}$就是样本n属于第k个高斯的概率

M步：

• 属于第k个高斯的总个数（概率）:<img

• 属于第K类的期望：

                                            $\mu_k=\frac{1}{N_k}\displaystyle\sum^N_{n=1}\gamma_{nk}R_n$
  

• 属于第K类的方差：
  通过最大似然调整每个高斯的均值方差。
  

通过最大似然调整每个高斯的均值方差。