参考:《统计学习方法》——李航;
摘要
介绍了EM算法的推导过程、步骤及在三硬币模型中的应用等内容。
正文
1. 什么地方要用EM算法
EM算法主要用于含有隐含变量的模型参数估计问题。如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计或极大后验估计。当概率模型含有隐含变量时,就需要用EM算法来估计参数了。EM算法就是含有隐含变量的概率模型参数的极大似然估计或极大后验估计。
2. EM算法的推导
给定观测数据Y,目标是极大化观测数据(不完全数据)Y关于参数的对数似然函数,即
表示在模型参数为
时,观测数据Y的概率分布。
EM算法通过逐步迭代来逐步近似极大化。假设第i次迭代后
的估计值为
。下一轮的估计值
要使
。故
利用Jensen不等式得到下界: