EM算法——学习笔记

提出：有时候任务中含有一些不能观察到的隐含变量，样本的产生和隐含变量有关，而求模型的参数时一般用最大似然估计，由于隐含变量的存在，所以对似然函数参数求导是不可行的，这是采用EM算法来求导。

总结：EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。两个步骤交替计算：

E步：利用当前估计的参数值，求出在该参数下，隐变量的条件概率值（计算对数似然的期望值）；

M步：结合E步求出的隐变量条件概率，求出似然函数下界函数的最大值（寻找能使E步产生的似然期望最大化的参数值）

然后，新得到的参数值重新被用于E步.....直到收敛到局部最优解（note：每次迭代实际在求Q函数及其极大，即每次迭代使似然函数增大或达到局部极值）。

面试题：

EM求解原理：

因为在求解一个含有隐含变量的概率模型时，目标是极大化观测数据关于参数的对数似然函数，而极大化的主要困难是含有未观测数据并有包含和的对数，而EM算法是通过迭代，不断求解下界的极大化，来逐步求解对数似然函数极大化。