EM算法3-高斯混合模型的EM算法

在实现了EM算法的感性理解和理论推导之后，可以对经典算法混合高斯模型进行EM算法的求解。

高斯混合模型具有如下的概率分布:
其中${\alpha }_k$>0 并且${\sum }_{k=1}^K$${\alpha }_k$=1, 同时有：

高斯混合模型可以理解为：
一共有K个高斯模型，第k个高斯模型被选中的概率为${\alpha }_k$。每一次获得观测数据时，首先根据${\alpha }_k$选择第出一个模型，然后根据第k个模型的高斯分布$\Phi$(Y|${\theta }_k$)获得最终的观测结果，其中${\theta }_k$={${\mu }_k$,${\sigma }_k$}。

根据高斯混合模型，我们想要求的最大似然函数为：

OK，看上面这个式子，log里面累加，求导求极值点什么的求不了，所以直接上EM算法：

根据高斯混合模型的理解，可以定义隐变量为：z=${\gamma }_{ik}$，当K=5，选择了第2个模型时，${\gamma }_{ik}$=[0,1,0,0,0]

则根据EM算法：
E步：
初始化参数一个求解P(z|$y_i$,${\theta }_k$):

定义：

所以L($\theta$)在${\theta }_0$的下界为：

然后M步：
我们需要求下界函数的最大值，即：

然后其实就是更新参数${\alpha }_k$，${\mu }_k$,${\sigma }_k$, 在求${\mu }_k$,${\sigma }_k$时，可以直接求导即可：

在求${\alpha }_k$时，由于${\alpha }_k$有参数约束：${\sum }_{k=1}^K$${\alpha }_k$=1,可以构造拉格朗日函数然后求解：

分别对${\alpha }_k$和$\lambda$求导：