机器学习十一之EM算法

二十、EM算法

       有时候因为样本的产生和隐含变量有关（ 隐含变量 是不能观察的），而求模型的参数时一般采用最大似然估计，由于含有了隐含变量，所以对似然函数参数求导是求不出来的，这时可以采用EM算法来求模型的参数的（对应模型参数个数可能有多个），EM算法一般分为

分两步：

　　E步：选取一组参数，求出在该参数下隐含变量的条件概率值（期望）；

　　M步：结合E步求出的隐含变量条件概率，求出似然函数下界函数（本质上是某个期望函数）的最大值。

　　重复上面2步直至收敛。

　　公式如下所示：

　　M步公式中下界函数的推导过程：

　　EM算法一个常见的例子就是GMM（高斯混合模型）模型，每个样本都有可能由k个高斯产生，只不过由每个高斯产生的概率不同而已，因此每个样本都有对应的高斯分布（k个中的某一个），此时的隐含变量就是每个样本对应的某个高斯分布。

　　GMM的E步公式如下（计算每个样本对应每个高斯的概率）：

　　更具体的计算公式为：

　　M步公式如下（计算每个高斯的比重，均值，方差这3个参数）：

EM和K-mean关系？

        调整中心点或者给 x 赋予哪个类的过程的实质就是： EM 算法。