EM算法资料总结

EM算法思想 是：迭代优化。

        有目标函数，也有参数变量（可以有多个），但是隐含了一个类别变量。

        主要求解过程就是：确定参数变量，来估计隐含类别（使目标函数向优化的方向进行）；再确定隐含类别，来估计参数变量 （使目标函数向优化的方向进行） 。这个过程不断循环进行，最后达到目标函数的最优！

算法原理部分只要看完以下几篇文章，基本上可以很系统、形象地理解

1. 从MLE到EM算法：

http://blog.csdn.net/zouxy09/article/details/8537620

2. Rachel Zhang专栏

  http://blog.csdn.net/abcjennifer/article/details/8170378 

（包含了一些必要的知识点：1. 凸集，凸函数，凹集，凹函数的概念 ； 2. Jensen's inequality ； 3. EM算法两步迭代过程与收敛性证明）

3. K-means 的EM思想： 

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html

4. 混合高斯模型（Mixtures of Gaussians）和EM算法

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006924.html

5. 混合高斯模型（男女身高参数估计）的程序代码

http://iphxer.com/archives/1870.html