ML15-EM算法

EM算法-希望最大化算法

算法概述

要进行总体对待，要将抽取得100名学生看作总体。

隐变量问题

对于一个样本，并不知道他的类别（男女）

EM算法求解实例

对于两个硬币A,B，分别求他们的分布，即朝上（下）的几率。
第三步结束后会更新第一步得A,B的初始期望值。后面第二步求出的值也会发生变化。一直到做到某一步后，期望波动很小了，就结束了。

EM算法推导（Jensen不等式）

Σ（概率*值）=期望

将第二行式子最后当作一个下界。只要右边式子大了，那么左边式子也会大。