期望最大(EM)算法

在概率模型中寻找参数最大似然估计的算法。 em 算法 是一种迭代算法，用于含有隐变量的参数模型的最大似然估计。 应用于 数据聚类领域。

最大似然估计：

        （1） 写出似然函数；

　　（2） 对似然函数取对数，并整理；

　　（3） 求导数 ；

　　（4） 解似然方程

期望 最大 算法经过两个步骤交替进行计算，

第一步是计算期望（E），也就是将隐藏变量象能够观测到的一样包含在内，从而计算最大似然的期望值；

另外一步是最大化（M），也就是最大化在 E 步上找到的最大似然的期望值从而计算参数的最大似然估计。

M 步上找到的参数然后用于另外一个 E 步计算，这个过程不断交替进行。

暂且先抛出一个随机的初值，然后用对方算出的数值反复迭代计算。直到计算结果收敛为止。这就是EM算法的思路。

EM算法在高斯混合模型GMM(Gaussian Mixture Model )中有很重要的用途。简单来讲GMM就是一些高斯分布的组合。

整体算法的步骤如下所示：

1、初始化分布参数。

2、(E-Step)计算期望E，利用对隐藏变量的现有估计值，计算其最大似然估计值，以此实现期望化的过程。

3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值

4、重复2,3步骤直到收敛。