EM算法

参考资料：

1. https://zhuanlan.zhihu.com/p/78311644
2. https://zhuanlan.zhihu.com/p/36331115

前置内容：

先读参考资料2到2.2之前，再读完参考资料1，再读完参考资料2。

公式推导：

总结

EM算法分成E步和M步，其中E步固定模型参数，以确定隐含数据的分布，从而建立似然函数下界，而M步则寻找模型参数以最大化似然下界。
每次更新后，似然函数值都会变大，因此模型一定会收敛。但由于模型非凸，存在许多极值点，因此不一定能收敛到全局最优。
如果我们从算法思想的角度来思考EM算法，我们可以发现我们的算法里已知的是观察数据，未知的是隐含数据和模型参数，在E步，我们所做的事情是固定模型参数的值，优化隐含数据的分布，而在M步，我们所做的事情是固定隐含数据分布，优化模型参数的值。EM的应用包括：
• 支持向量机的SMO算法
• 混合高斯模型
• K-means
• 隐马尔可夫模型