《统计学习》笔记（2）-- EM算法

EM算法
（1）EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。
（2）EM算法的每次迭代由两步组成：E步，求期望；M步，求极大。所以这一算法称为期望极大算法，简称EM算法。
（3）观测数据的极大似然估计没有解析解，只有通过迭代的方法求解，使用EM算法可以求解。
（4）EM算法与初值的选择有关，选择不同的初值可能得到不同的参数估计值。
（5）用$Y$表示观测随机变量的数据，用$Z$表示隐随机变量的数据。$Y$和$Z$连在一起称为完全数据，观测数据 Y <script type="math/tex" id="MathJax-Element-1516">Y</script>又称为不完全数据。
（6）EM算法通过迭代求观测数据的对数似然函数的极大似然估计。
（7）EM算法的收敛是迭代过后参数的值不再变化，或者变化在一个阀值以内。
（8）EM算法是通过不断求解下界的极大化逼近求解对数似然函数极大化的算法。
（9）关于EM算法收敛的两个定理：①观测数据的似然函数是递增的；②观测数据的对数似然函数只会收敛到函数的稳定值。
（10）定理只能保证参数估计序列收敛到对数似然函数序列的稳定点，不能保证收敛到极大值点。因此，初值的选择非常重要，常用的办法是选取几个不同的初值进行迭代，然后对得到的各个估计值加以比较，从中选择最好的。

---

EM算法在高斯混合模型学习中的应用 （1）高斯混合模型、高斯分布密度 （2）用EM算法估计高斯混合模型的参数，步骤为：①明确隐变量，写出完全数据的对数似然函数；②EM算法的E步：确定Q函数；③确定EM算法的M步。 （3）高斯混合模型参数估计的EM算法

①取参数的初始值开始迭代；
②E步：依据当前模型参数，计算分模型k对观测数据yj的响应度；
③M步：计算新一轮迭代的模型参数；
④重复第②步和第③步，知道收敛。

---

重点内容
（1）EM算法还可以解释为F函数的极大-极大算法，基于这个解释有若干变形和推广，例如广义期望极大算法（GEM算法）
（2）EM算法的一次迭代可有F函数的极大-极大算法实现。
（3）GEM算法有三种实现方式。