EM算法

1，EM算法简介

最大期望算法（Expectation-Maximization algorithm, EM），或Dempster-Laird-Rubin算法 ，是一类通过迭代进行极大似然估计（Maximum Likelihood Estimation, MLE）的优化算法 ，通常作为牛顿迭代法（Newton-Raphson method）的替代用于对包含隐变量（latent variable）或缺失数据（incomplete-data）的概率模型进行参数估计。

由于迭代规则容易实现并可以灵活考虑隐变量 ，EM算法被广泛应用于处理数据的缺测值 ，以及很多机器学习（machine learning）算法，包括高斯混合模型（Gaussian Mixture Model, GMM）和隐马尔可夫模型（Hidden Markov Model, HMM）的参数估计。

2，最大似然估计

简单的举例：
假如你去赌场，但是不知道能不能赚钱，你就在门口堵着出来一个人就问一个赚了还是赔了，如果问了9个人都说赚了，那么你就会认为，赚钱的概率肯定是非常大的。

已知：（1）样本服从分布的模型， （2）观测到的样本
求解：模型的参数。

总的来说：极大似然估计就是用来估计模型参数的统计学方法

以100名学生的身高问题为例说明最大似然数学问题：

（1）样本集：X={x1,x2,…,xN} &#