机器学习 EM算法 从极大似然法谈起

极大似然法 VS EM算法

EM(Expectation Maximization)算法是复杂化的极大似然法(Maximum Likelihood)。

• 极大似然法问题中，所有观测值属于同一分布，需要估计的，是使得观测值序列出现概率最大的该分布的参数（均值、标准差）
• EM问题中，所有观测值可能属于不同的分布，因此需要估计的除了每一个分布的参数，还有具体某个观测值属于哪一个分布

e.g.
在全校随机抽取100名男生测量身高，根据100个身高数据，估计男生身高X的均值，这就是极大似然法；
在全校随机抽取100名男女生，根据100个身高数据，估计男生身高X的均值，女生身高Y的均值，这就是EM算法要解决的问题。

EM算法原理

EM算法的难度就在于，增加了一个隐藏变量，即每个观测值属于哪一个分布。这使得矛盾的局面出现了：要想知道每一分布的参数，就得知道每个观测值具体属于哪一分布；要想知道每个观测值具体属于哪一分布，就得知道每一分布的参数。

解决方案：先随机初始化一个PA和PB，按照最大似然法估计z(每轮硬币分布向量，即每轮具体是抛掷哪个硬币)，然后基于z，还是按照最大似然法估计新的PA和PB，两个最大似然估计过程交替进行：

1. 先随便给PA和PB赋一个值，比如：硬币A正面朝上的概率PA = 0.2；硬币B正面朝上的概率PB = 0.7
2. 然后，我们看看第一轮抛掷最可能是哪个硬币。
   如果是硬币A，得出3正2反的概率为 0.20.20.20.80.8 = 0.00512；如果是硬币B，得出3正2反的概率为0.70.70.70.30.3=0.03087。因此按照极大似然法，第一轮抛掷最可能是硬币B。然后依次求出其他4轮中的相应概率及最可能是哪个硬币
3. 综合五轮抛掷结果，重新计算PA和PB，重复2、3步骤至PA和PB收敛于某定值。

参考：
https://blog.csdn.net/v_july_v/article/details/81708386