聚类之EM

Expectation–Maximization(EM)-最大期望算法

1、算法简介

最大期望算法是一种迭代算法，用于含有隐变量(Latent variable)的概率参数模型的最大似然估计或者极大后验概率估计。

2、算法详解

假设知道了有A和B两个参数，但它们的值不确定，假设知道了A的值，可以直接求得B的值，反过来也是一样的，知道了B的值，可以求A的值。那么可以考虑对其中一个赋初值，另一个就可以得到估计值，然后再用另一个的估计值去估计另外一个值，直到收敛停止整个过程，即可获得两个参数A和B的值。

算法流程：

初始化分布参数θ

重复以下几个步骤：

E步：根据参数初始值或者上一个迭代的模型参数来计算出隐性变量的后验概率，即隐性变量的期望值；

M步：将似然函数最大化以获得新的参数值。

 

转载于:https://www.cnblogs.com/xqwang/p/10908626.html