1.主要思想:
存在隐含变量。不能直接利用最大似然估计估计参数。
通过迭代求得最大似然函数 。分为E步(求期望 )和M步(求极大化)。
利用jensen不等式,得到参数极大似然函数的一个下界,然后逐渐放大下界 最后近似得到极大似然函数的最大值
EM算法的关键:Q函数。 Q函数是极大似然函数关于未观测变量的条件概率分布的期望。算法就是在逐渐极大化Q函数。
Q(theta,theta^i)=sigma(log(P(Y,Z|theta))P(Z|Y,theta^i))
2.算法过程:
输入:观测变量数据Y,x分布 P(Y,Z),条件概率P(Z|Y)
输出:模型参数
1.随机给定初始参数。theta^0
2.计算Q(theta,theta^i)
3.theta^i+1=argmax(Q)(对于theta)
4.Q收敛输出模型参数theta^i 反之继续进行第二步
说明:EM算法初值敏感。
3.应用实例(高斯混合模型)
(1)参数为k个模型的期望 和方差以及 各个模型的权重
(2)确定隐变量。这里隐变量为第j个观测值是否来自第k个模型。记作uj1...ujk
(3)p(y,u|theta)
(4)写出对数形式 log(p(y,u|theta))
(5)求期望。写出Q函数(E步)
(6)极大化Q函数。对参数求偏导,解得。(M步)