机器学习（二）——EM算法详解

EM算法作为机器学习领域的一个重要算法。在理解上还是具有一定的难度的，尤其是书籍上复杂的公式，会让人望而止步。本人在书籍和视频的基础上，根据自身的理解和认知试着解释一下EM算法，一者让大家指正，二者作为学习记录。

---

算法概述

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率。举个例子：我们在已知样本数据的情况下，且已知数据是由n个高斯分布叠加而成的（先验知识），想知道具体的每一个高斯分布的参数和选取的概率（选取的概率）。EM算法就是为了解决这类问题而产生的。
EM算法主要分为两步：
*1.E步：求期望
2.M步：求极大似然估计*

算法原理

一.预备知识
1.Jensen不等式，在f(x)是凸函数的情况下：

扩展上述不等式，得到如下式:

而，可以认为