EM算法估计混合高斯模型(GMM)

1、EM原理

EM本质是上是极大似然估计(MLE)概率模型有时即含有观测变量，又含有隐变量，如果概率模型的变量都是观测变量，只要show出测量数据，可以直接用极大似然估计法，或者用贝叶斯估计法估计模型参数。但是当模型含有隐变量时，就不能简单的用这些估计方法，EM算法就是含有隐变量的概率模型参数的极大似然估计法。
举个例子啥是隐变量，假设学校有100人，我们可以测出这100人的身高数据，我们都知道人的身高有时依赖于性别，但是不知道男女比例，这时男女比可以作为隐变量。

2、啥是混合高斯模型

先上表达式：
$$p({\mathbf{x}}_{\mathbf{j}})=\sum _{k=1}^{M}N({\mathbf{x}}_{\mathbf{j}}|{\mathbf{\mu }}_{\mathbf{k}},{\Sigma }_k)P(G_k),j=1,2,\dots ,N$$
上式是混合高斯模型的pdf，M表示高斯模型的数量（很多时候可视作分类簇数量），$P(G_k)$表示事件k发生的概率，${\mathbf{\mu }}_{\mathbf{k}},{\Sigma }_k$分别表示第k个高斯模型的均值和协方差矩阵。

3、EM算法求解GMM

先上似然函数：
$$L(\theta )=\prod _{i=1}^N\sum _{z}p(x_i,z;\theta )$$
取对数后：
l ( θ ) = l o g ∏ i = 1 N ∑ z p ( x i , z ; θ ) = ∑ i = 1 N l o g ∑ z p ( x i , z ; θ ) l(\theta)=log\prod_{i=1}^N\sum_zp(x_i,z;\theta)=\sum_{i=1}^Nlog\sum_zp(x_i,z;\theta) l(θ)=logi=1∏N​