EM算法总结与理解

EM算法：
我们要调查学校的男生和女生的身高分布。
我们抽取了100个男生和100个女生，共200个人。

我们只知道，200个人的身高，甚至不知道它们是男的还是女的。
我们现在想要做的事儿是什么呢？
1.是希望求出每一个样本属于哪个分布？
（也就是说，这个数据到底是属于男人呢，还是属于女人呢？）
2. 是希望求出男女分布的两个具体分布。

这个问题的难点就在于要求出男女的分布。
如果只是求具体分布，极大似然法就可以实现了，但两个问题的结合，使得求解过程变的困难。
但最大似然法在接下来的求解过程中，还是非常有必要的。
建议转过头去了解一下极大似然算法：
极大似然算法

我们发现EM求解步骤变为

这个图是什么意思呢？
在我们的例子中，我们可以：
初始化参数，随机初始化男生的身高，即给男生身高的分布一个假设。
计算每个人更可能是属于男生分布，或者更可能是女生分布。
然后用判断出来的男生分布和女生分布更新男生分布和女生分布的模型。（最大似然分布）
最后，实现，不断重复步骤，直到参数不再发生变化。

那么整个EM是为什么有效的呢？

未完待续（不想写了，太累了）

参考文献：机器学习之EM算法