极大似然估计 EM算法



极大似然估计，是一种概率论在统计学的应用，它是参数估计的方法之一(MPA，贝叶斯估计)。

已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是想通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计也是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

说的更直白一点就是已知结果求产生该结果最大可能的条件，即概率分布中的参数。

而EM算法与上面相似，已知随机样本满足某种概率分布 ，但我们并不知道他们的分布参数，所以干脆先随机估计出这些参数，然后用这些估计出的参数得出每个样本最有可能属于那个类别（即估计隐变量），分类之后使用最大似然估计出每一类的概率分布参数。（这时就更新了第一步随机估计的分布参数），利用新得到的参数再次进行分类，以此循环迭代。最终优化到满足某个条件后跳出。得到最终分类，和各类分布参数结果。所以EM常用于数据聚类中。

E步骤：估计未知参数的期望值（隐变量）。

M步骤：重新估计分布参数，以使得数据的似然性最大。

所以说最大似然其实就是EM算法在迭代过程中的一步而已，是整个EM算法的基础