1 为什么要用EM算法
有时,我们用极大似然的时候,公式中可能会有隐变量:
L(θ)=∏i=1mp(yi;θ)=∏i=1m[∑zp(yi,z;θ)]=∏i=1m[∑zp(z;θ)p(yi|z;θ)]
也就是 y 取什么值是由隐含的变量 z 决定的。举个栗子:有三个硬币,ABC,先抛A,由A的正反面决定下一步抛 B 还是抛 C ,A是正面抛B,A是反面抛C。第二次抛不管是B还是C,如果是正面就记为1,如果是反面就记为0。如果我们连续重复【A→B或C】这个过程,得到了一个序列1,1,0,1,0,0,1,0,1,1,问:怎么估计三枚硬币正面出现的概率?显然这里A就是一个隐变量。由于它的不同,后面第二次抛硬币得到正面的几率也不同。
EM算法就是解决这类含有隐变量的极大似然问题的有效算法。
2 基本思想
EM算法的基本思想是通过优化目标函数的下界,间接优化目标函数。
打个通俗的比方,我们都听过小和尚抱小牛的故事,老和尚让小和尚从小就抱一头小牛。小牛每天长大,小和尚每天都抱得动。最后小和尚变得力大无比。这里,小和尚的力气就是目标函数,小牛的体重就是目标函数的下界。小牛随着时间的增长而越来越重,这就是优化下界。而小和尚由于总抱小牛,力气也随着增长,这就是间接优化了目标函数。
3 Jensen不等式
EM算法中,目标函数的下界是由Jensen不等式导出的。
具体的,若 f(x) 是凸函数,则:
f(E[x])⩽E[f(x)]
若 f(x) 是凹函数,则:
f(E[x])⩾E[f(x)]
E是求期望。
4 EM算法
方便起见,把似然函数简写成如下形式:
L(θ)=∏i=1m[∑zp(z;θ)p(yi|z;θ)]=∑zp(z;θ)p