一:EM算法介绍
1)算法解释:
Expectation-maximization algorithm,期望最大化算法。用于含有不可观察的隐形变量的,概率模型中,并利用参数最大似然估计。
2)计算思想:
因为模型包含隐含的变量,可以看作参数A,同样的对于要估计的其他参数可以看作B,知道B,可以给出求出A,同样的知道A,可以给出最优的参数B。EM算法就是,先假设已知参数B,然后求出A,再用求出的A,去得到新最优B。有点类似于交替方向法。一直到收敛为止。这就涉及到算法收敛性问题。
3)最大似然估计介绍
举例:假设我们需要调查我们学校的男生和女生的身高分布。你在校园里随便地活捉了100个男生和100个女生。男左女右,首先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值和方差,我们不知道,这两个参数就是我们要估计的。
所有的男生身高服从高斯分布 p(xi|θ)=N