em算法 实例 正态分布_机器学习十大算法之一： EM 算法 (从极大似然估计到EM算法)...

这篇文章是为了讲给不懂算法，但有些高等数学、概率论基础的学生入门用的。全文比较通俗易懂，希望大家耐心看完。EM算法没有那么高深，但了解EM算法，之后PLSA、LDA（隐主题模型）算法都会相对容易理解。

先从一个简单的数学题开始引入极大似然估计

一、何为极大似然估计？

通过实际出现的结果反过来求未知参数，其中心思想是求得未知参数θ，使得出现结果 ( )的可能性达到最大（即所谓极大似然），数学上即求导。

例如，设上帝抛硬币服从 0-1 分布（抛N枚硬币服从F(θ)~(n,θ)二项分布），正面朝上的概率为θ，那么反面朝上的概率为 1-θ。现在知道 上帝抛了 10 枚硬币（1 为正面朝上，0 为负面朝上），结果是：{1 0 0 1 1 0 0 1 0 0 }

问：上帝抛硬币正面朝上的概率θ为多少？

假设上帝抛硬币行为是独立同分布的，那么，上帝抛出 10 枚硬币概率

P(Y|θ) = P( 1y… 10| ) = P( 1| )∗P( 2| )…∗P( 10| )