本文介绍了EM算法，一种用于处理含有不可观测隐形变量的概率模型的参数估计方法。通过E（期望）和M（最大化）两个步骤交替进行，直至收敛。首先，EM算法在已知参数假设下对样本进行分类，然后利用分类结果更新参数，如此反复。最大似然估计在确定参数时，寻求使样本出现概率最大的值。EM算法在样本混合时，通过引入隐含变量进行迭代优化，以逼近最大似然函数的最大值。
一：EM算法介绍
1）算法解释：
Expectation-maximization algorithm，期望最大化算法。用于含有不可观察的隐形变量的，概率模型中，并利用参数最大似然估计。
2）计算思想：
因为模型包含隐含的变量，可以看作参数A，同样的对于要估计的其他参数可以看作B，知道B,可以给出求出A，同样的知道A，可以给出最优的参数B。EM算法就是，先假设已知参数B，然后求出A,再用求出的A，去得到新最优B。有点类似于交替方向法。一直到收敛为止。这就涉及到算法收敛性问题。
3）最大似然估计介绍
举例：假设我们需要调查我们学校的男生和女生的身高分布。你在校园里随便地活捉了100个男生和100个女生。男左女右，首先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值和方差，我们不知道，这两个参数就是我们要估计的。
所有的男生身高服从高斯分布 p(xi|θ)=N
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
