LDA主题模型学习笔记3.5：变分参数推导

    现在来推导一下得到变分参数更新式的过程，这一部分是在论文的附录中，为避免陷入过多细节而影响整体理解，可以在刚开始学习LDA的时候先不关注求解细节。首先要把L写成关于$\gamma,\phi$函数。根据之前我们对L的定义：

$$L(\gamma,\phi;\alpha,\beta)=E_q[logp(\theta,\mathbf z,\mathbf w|\alpha,\beta)]-E_q[logq(\theta,\mathbf z)]$$
(1)
再分别计算5个期望，可以得到如下式子：
(2)

上式中5个期望的计算要用到如下式子，这个是作者在附录中推导出来的式子：

5个期望的计算：

---

接下来分别对$\phi,\gamma$ 求偏导令导数为0，解出$\phi,\gamma$ 。
我们对(2)式中的L做简化，只留下与$\phi$ 有关的项 ：

求偏导：

解得：

对于$\gamma$，同样的步骤：

---

主要参考《Latent Dirichlet Allocation》