如今来推导一下得到变分參数更新式的过程。这一部分是在论文的附录中,为避免陷入过多细节而影响总体理解。能够在刚開始学习LDA的时候先不关注求解细节。首先要把L写成关于γ,ϕ函数。依据之前我们对L的定义:
L(γ,ϕ;α,β)=Eq[logp(θ,z,w|α,β)]−Eq[logq(θ,z)]
(1)
再分别计算5个期望。能够得到例如以下式子:
(2)
上式中5个期望的计算要用到例如以下式子,这个是作者在附录中推导出来的式子:
5个期望的计算:
接下来分别对ϕ,γ 求偏导令导数为0,解出ϕ,γ 。
我们对(2)式中的L做简化,仅仅留下与ϕ 有关的项 :
求偏导:
解得:
对于γ。相同的步骤:
主要參考《Latent Dirichlet Allocation》