EM算法及其应用GMM，pLSA

EM(expectation   Maximization)期望最大是一种迭代算法，是一种对包含隐变量的概率模型，参数估计的极大似然估计法。第一步期望(E)：利用当前参数计算对数似然的期望；第二步最大化(M)步，寻找使E步产生的对数似然期望最大化的参数值。迭代使用EM步直到收敛。

提纲挈领：隐变量，极大似然估计

假设训练数据集{x^1,x^2.....x^m}包含m个独立样本，无样本标签，我们希望得到模型p(y|x)。开始下面工作：

1.EM

对于每个样本i，设Qi关于zj的分布，Qi(zj)

 

最后一步采用Jensen不等式，log函数为上凸函数，f(E(x))>=E(f(x)),等式成立条件为f(x)=C，即

归一化得到：

Qi是一个后验概率，由xi和参数可以得到。M步：计算公式1的最大似然函数，得到参数的估计。