LDA主题模型 —— 变分推断EM算法推导

---

本文目的

LDA (Latent Dirichlet Allocation) 是一个非常重要的文档主题模型，在众多领域均有着广泛的运用。LDA的训练方式大体分为基于Gibbs采样和变分推断EM算法两类。本文结合了一些相关资料，聚焦于LDA模型的变分推断EM算法的数学推导，假设读者已经了解过LDA的基本原理。

LDA模型的简单回顾

首先对LDA模型做一个简单的回顾：假设数据集$D$中有$M$篇文档，其中第$d$篇文档有$N_d$个单词，且数据集$D$中一共涉及$V$种单词，$K$种主题。上述概率图展示了LDA模型的生成过程，概率图中的各符号定义如下：

• $\alpha$：“文档-主题”的先验狄利克雷分布参数，是一个$K$维向量
• $\eta$：“主题-单词”的先验狄利克雷分布参数，是一个$V$维向量
• ${\theta }_d$：表示第$d$篇文档的主题多项式分布的参数，有${\theta }_d=Dir(\alpha )$
• $z_{d,n}$：表示第$d$篇文档中的第$n$个单词所属的主题，是一个$K$维one-hot向量
• ${\beta }_k$：表示第$k$个主题的单词多项式分布的参数，有${\beta }_k=Dir(\eta )$
• $w_{d,n}$：表示第$d$篇文档中的第$n$个单词，是一个$V$维的one-hot向量

LDA模型的生成过程如下：

1. 首先从“文档-主题”的先验狄利克雷分布$Dir(\alpha )$中生成文档 $d$ 的主题多项式分布参数${\theta }_d$，$(d=1,2,\dots ,M)$
2. 然后对文档 $d$ 中的每一个单词，从多项式分布$Multi({\theta }_d)$生成该单词对应的主题$z_{dn}$，$(n=1,2,\dots ,N_d)$
3. 从狄利克雷分布$Dir(\beta )$中生成主题 $k$ 的单词多项式分布参数${\beta }_k$，$(k=1,2,\dots ,K)$
4. 针对文档 $d$ 中的每一个单词，从多项式分布$Multi({\beta }_{z_{dn}})$中生成该单词$w_{dn}$

LDA求解 —— 变分推断EM算法

关于EM算法和变分推断的推导可以参考我之前的一篇总结：《EM算法与变分推断 —— 数学推导》
如果不想看长篇大论也没关系，下面我将从LDA的视角入手，简单回顾一下EM算法和变分推断。

1 EM算法

对于概率图模型中包含有隐变量的情况，可以使用EM算法进行参数估计。隐变量是指不可观测的变量，但其参与到了样本的生成过程。在LDA模型中，隐变量为$\theta ,z,\beta$，可观测变量为单词$w$，模型的参数为$\alpha ,\eta$，首先我们可以根据概率图中的关系直接写出所有变量的联合概率分布：
$$\begin{array}{rl}p(w,\theta ,z,\beta ;\alpha ,\eta )& =p(\beta |\eta )p(\theta |\alpha )p(z|\theta )p(w|\beta ,z)\\ & =\prod _{k=1}^{K}p({\beta }_k|\eta )\prod _{d=1}^M[p({\theta }_d|\alpha )\prod _{n=1}^{N_d}p(z_{dn}|{\theta }_d)p(w_{dn}|{\beta }_{z_{dn}},z_{dn})]\end{array}\text{\hspace{1em}(1)}$$接下来我们可以利用求和或积分的方式消去联合概率分布中的隐变量，得到可观测变量$w$在给定参数$\alpha ,\eta$的情况下的边际似然（针对于整个数据集$D$）：
$$p(w;\alpha ,\eta )=\iint \prod _{k=1}^{K}p({\beta }_k|\eta )\prod _{d=1}^{M}p({\theta }_d|\alpha )[\prod _{n=1}^{N_d}\sum _{z_{dn}}p(z_{dn}|{\theta }_d)p(w_{dn}|{\beta }_{z_{dn}},z_{dn})]d{\beta }_{k}d{\theta }_d\text{\hspace{1em}(2)}$$LDA模型的目标是最大化(2)式，然而等式右边涉及复杂的积分，求解并不容易，因此可以引入一个关于隐变量$\theta ,z,\beta$的近似分布$q(\theta ,z,\beta )$对对数似然 $\log p(w;\alpha ,\eta )$进行推导：
$$\begin{array}{rl}\log p(w;\alpha ,\eta )& =\iint \sum _{z}q(\theta ,z,\beta )\log p(w;\alpha ,\eta )d\beta d\theta 因为\sum _{z}q(\theta ,z,\beta )=1\\ & =\iint \sum _{z}q(\theta ,z,\beta )\log [\frac{p(w,\theta ,z,\beta ;\alpha ,\eta )}{p(\theta ,z,\beta |w;\alpha ,\eta )}\cdot \frac{q(\theta ,z,\beta )}{q(\theta ,z,\beta )}]d\beta d\theta \\ & =\iint \sum _{z}q(\theta ,z,\beta )\log \frac{p(w,\theta ,z,\beta ;\alpha ,\eta )}{q(\theta ,z,\beta )}d\beta d\theta \\ & +\iint \sum _{z}q(\theta ,z,\beta )\log \frac{q(\theta ,z,\beta )}{p(\theta ,z,\beta |w;\alpha ,\eta )}d\beta d\theta \\ & =ELBO(q,w;\alpha ,\eta )+KL[q(\theta ,z,\beta )||p(\theta ,z,\beta |w;\alpha ,\eta )]\end{array}\text{\hspace{1em}(3)}$$(3)式由两部分组成，其中第一项ELBO (Evidence Lower BOund) 称为证据下界，它表示对数似然$\log p(w;\alpha ,\eta )$的下界；第二项为KL散度项，它衡量两个分布的相似程度，是一个恒大于0的值，且相似程度越高KL散度值越趋于0

模型训练的目标是 $\underset{\alpha ,\eta }{\mathrm{argmax}}\log p(w;\alpha ,\eta )$，而由(3)式可知$\log p(w;\alpha ,\eta )\ge ELBO(q;\alpha ,\eta )$，因此我们可以将模型优化的目标转变为$\underset{\alpha ,\eta }{\mathrm{argmax}}ELBO(q;\alpha ,\eta )$，EM算法正式围绕着这个目标展开优化的。

EM算法分为E-step和M-step：首先在E-step时控制模型的参数保持不变，计算出隐变量的后验分布作为隐变量的近似分布，这一步使得KL散度项减小至0，而由于$\log p(w;\alpha ,\eta )$与隐变量无关不会发生改变，因此该步骤等同于最大化当前ELBO的值；之后在M-step时控制隐变量保持不变，寻找最优的模型参数使得ELBO达到当前的最大值。如此反复迭代E-step和M-step，使得ELBO项不断增大。

最终对于LDA模型，定义EM算法如下：

E-step：固定模型参数${\alpha }_t,{\eta }_t$，令$q_{t+1}(\theta ,z,\beta )=p(\theta ,z,\beta |x;{\alpha }_t,{\eta }_t)$
M-step：固定$q_{t+1}(\theta ,z,\beta )$，优化模型参数 ${\alpha }_{t+1},{\eta }_{t+1}=\underset{\alpha ,\eta }{\mathrm{argmax}}ELBO(q_{t+1},x;\alpha ,\eta )$

2 变分推断

2.1 确定问题目标

EM算法的关键步骤是E-step中令$q_{t+1}(\theta ,z,\beta )=p(\theta ,z,\beta |x;{\alpha }_t,{\eta }_t)$，这需要计算隐变量的后验分布。对于较为简单的模型（如混合高斯模型等）隐变量的后验分布可以直接进行推导，而对于LDA模型而言，由概率图可知在$w$为观测变量时，隐变量$\beta$和$\theta$，$\beta$和$z$之间不是条件独立的，即存在耦合，无法进行隐变量后验分布的推导。因此我们可以引入变分推断的方法，假设隐变量$\theta ,z,\beta$分别由各自不同的独立分布生成（即mean field假设），得到一个变分分布$q(\theta ,z,\beta ;\gamma ,\varphi ,\lambda )$，并希望该变分分布近似我们无法求得的隐变量后验分布$p(\theta ,z,\beta |x;\alpha ,\eta )$

因此关于隐变量$\theta ,z,\beta$的联合概率分布$q(\theta ,z,\beta )$可改写为如下形式：
$$\begin{array}{rl}q(\theta ,z,\beta )& =q(\theta ,z,\beta ;\gamma ,\varphi ,\lambda )\\ & =\prod _{k=1}^{K}q({\beta }_k|{\lambda }_k)\prod _{d=1}^M[q({\theta }_d|{\gamma }_d)\prod _{n=1}^{N_d}q(z_{dn}|{\varphi }_{dn})]\end{array}\text{\hspace{1em}(4)}$$于是现在的目标变为：$\underset{\gamma ,\varphi ,\lambda }{\mathrm{argmin}}KL[q(\theta ,z,\beta |\gamma ,\varphi ,\lambda )||p(\theta ,z,\beta |w;\alpha ,\eta )]$
然而现在我们采用变分推断的思路是引入变分分布去近似隐变量的后验分布，但是这依旧无法解决由隐变量耦合导致的后验分布无法推导的这一状况，因此我们可以尝试继续转化问题的目标：由(3)式可知对数似然$\log p(w;\alpha ,\eta )$由ELBO项和KL散度项两部分组成，因此最小化KL散度项等同于最大化ELBO项，即：
$$\begin{array}{rl}{\gamma }^{\ast },{\varphi }^{\ast },{\lambda }^{\ast }& =\underset{\gamma ,\varphi ,\lambda }{\mathrm{argmin}}KL[q(\theta ,z,\beta |\gamma ,\varphi ,\lambda )||p(\theta ,z,\beta |w;\alpha ,\eta )]\\ & =\underset{\gamma ,\varphi ,\lambda }{\mathrm{argmax}}ELBO(q,w;\alpha ,\eta )\end{array}\text{\hspace{1em}(5)}$$
这里我们联合(4)式对$ELBO(q,w;\alpha ,\eta )$进行拆分：
$$\begin{array}{rl}ELBO(q,w;\alpha ,\eta )& =\iint \sum _{z}q(\theta ,z,\beta )\log \frac{p(w,\theta ,z,\beta ;\alpha ,\eta )}{q(\theta ,z,\beta )}d\beta d\theta \\ & =\iint \sum _{z}q(\theta ,z,\beta ;\gamma ,\varphi ,\lambda )\log \frac{p(w,\theta ,z,\beta ;\alpha ,\eta )}{q(\theta ,z,\beta ;\gamma ,\varphi ,\lambda )}d\beta d\theta \\ & ={\mathbb{E}}_{q(\theta ,z,\beta ;\gamma ,\varphi ,\lambda )}\log p(w,\theta ,z,\beta ;\alpha ,\eta )-{\mathbb{E}}_{q(\theta ,z,\beta ;\gamma ,\varphi ,\lambda )}\log q(\theta ,z,\beta ;\gamma ,\varphi ,\lambda )\\ & ={\mathbb{E}}_q\log p(\beta |\eta )+{\mathbb{E}}_q\log p(\theta |\alpha )+{\mathbb{E}}_q\log p(z|\theta )+{\mathbb{E}}_q\log p(w|\beta ,z)\\ & -{\mathbb{E}}_q\log q(\beta |\lambda )-{\mathbb{E}}_q\log q(z|\varphi )-{\mathbb{E}}_q\log q(\theta |\gamma )将q(\theta ,z,\beta ;\gamma ,\varphi ,\lambda )简记为q\end{array}\text{\hspace{1em}(6)}$$根据概率图模型将ELBO项拆解为了7项，下面的主要任务是依次对这7项进行推导，并由此实现EM算法。

2.2 指数分布族性质

这里需要引入一点指数分布族的性质，以方便后续的推导。首先狄利克雷分布的定义如下：
$$Dir(\theta ;\alpha )=\frac{\Gamma ({\sum }_{i=1}^K{\alpha }_i)}{{\prod }_{i=1}^K\Gamma ({\alpha }_i)}\prod _{i=1}^K{\theta }_i^{{\alpha }_i-1}\text{\hspace{1em}(7)}$$
其中$\Gamma ()$为Gamma函数，定义如下：
$$\Gamma (x)={\int }_0^{\infty }{t}^{x-1}{e}^{-t}dt\text{\hspace{1em}(8)}$$
由于狄利克雷分布属于指数分布族，这里不加证明地引入指数分布族的性质：
$${\mathbb{E}}_{Dir(\theta ;\alpha )}\log ({\theta }_k)=\Psi ({\alpha }_k)-\Psi (\sum _{i=1}^K{a}_i)\text{\hspace{1em}(9)}$$其中$\Psi ()$为Digamma函数：
$$\Psi (x)=\frac{d}{dx}\log \Gamma (x)=\frac{{\Gamma }^{\prime }(x)}{\Gamma (x)}\text{\hspace{1em}(10)}$$

2.3 对ELBO进行推导

下面将结合指数分布族的性质，对(6)式中的7个小项逐一进行推导。

1. ${\mathbb{E}}_q\log p(\beta |\eta )$
   $$\begin{array}{rl}{\mathbb{E}}_q\log p(\beta |\eta )& ={\mathbb{E}}_q\log \prod _{k=1}^{K}Dir(\beta |\eta )\\ & ={\mathbb{E}}_q\log \prod _{k=1}^K\frac{\Gamma ({\sum }_{v=1}^V{\eta }_v)}{{\prod }_{v=1}^V\Gamma ({\eta }_v)}\prod _{v=1}^V{\beta }_{kv}^{{\eta }_v-1}\\ & =K\log \Gamma (\sum _{v=1}^V{\eta }_v)-K\sum _{v=1}^V\log \Gamma ({\eta }_v)+\sum _{k=1}^K{\mathbb{E}}_q\sum _{v=1}^V({\eta }_v-1)\log {\beta }_{kv}\\ & =K\log \Gamma (\sum _{v=1}^V{\eta }_v)-K\sum _{v=1}^V\log \Gamma ({\eta }_v)\\ & +\sum _{k=1}^K\sum _{v=1}^V({\eta }_v-1)[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\end{array}\text{\hspace{1em}(11)}$$
2. ${\mathbb{E}}_q\log p(\theta |\alpha )$
   $$\begin{array}{rl}{\mathbb{E}}_q\log p(\theta |\alpha )& ={\mathbb{E}}_q\log Dir(\theta |\alpha )这里只针对一篇文档，没有加入\prod _{d=1}^M\\ & ={\mathbb{E}}_q\log \frac{\Gamma ({\sum }_{k=1}^K{\alpha }_k)}{{\prod }_{k=1}^K\Gamma ({\alpha }_k)}\prod _{k=1}^K{\theta }_k^{{\alpha }_k-1}\\ & =\log \Gamma (\sum _{k=1}^K{\alpha }_k)-\sum _{k=1}^K\log \Gamma ({\alpha }_k)+\sum _{k=1}^K{\mathbb{E}}_q({\alpha }_k-1)\log {\theta }_k\\ & =\log \Gamma (\sum _{k=1}^K{\alpha }_k)-\sum _{k=1}^K\log \Gamma ({\alpha }_k)+\sum _{k=1}^K({\alpha }_k-1)[\Psi ({\gamma }_k)-\Psi (\sum _{i=1}^K{\gamma }_i)]\end{array}\text{\hspace{1em}(12)}$$
3. ${\mathbb{E}}_q\log p(z|\theta )$
   $$\begin{array}{rl}{\mathbb{E}}_q\log p(z|\theta )& =\sum _{n=1}^N\sum _{k=1}^K{\mathbb{E}}_q\log {\theta }_k^{z_{nk}}{z}_n是K维onehot向量，z_{nk}=1或0\\ & =\sum _{n=1}^N\sum _{k=1}^K{\mathbb{E}}_q{z}_{nk}\cdot {\mathbb{E}}_q\log {\theta }_k\\ & =\sum _{n=1}^N\sum _{k=1}^K{\varphi }_{nk}\cdot [\Psi ({\gamma }_k)-\Psi (\sum _{i=1}^K{\gamma }_i)]\end{array}\text{\hspace{1em}(13)}$$
4. ${\mathbb{E}}_q\log p(w|\beta ,z)$
   $$\begin{array}{rl}{\mathbb{E}}_q\log p(w|\beta ,z)& =\sum _{n=1}^N\sum _{k=1}^K\sum _{v=1}^V{\mathbb{E}}_q\log {\beta }_{kv}^{(z_{nk}\cdot w_{nv})}\\ & =\sum _{n=1}^N\sum _{k=1}^K\sum _{v=1}^V{\mathbb{E}}_q{z}_{nk}\cdot {\mathbb{E}}_q{w}_{nv}\cdot {\mathbb{E}}_q\log {\beta }_{kv}\\ & =\sum _{n=1}^N\sum _{k=1}^K\sum _{v=1}^V{\varphi }_{nk}\cdot w_{nv}\cdot [\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\end{array}\text{\hspace{1em}(14)}$$
5. ${\mathbb{E}}_q\log q(\beta |\lambda )$
   $$\begin{array}{rl}{\mathbb{E}}_q\log q(\beta |\lambda )& ={\mathbb{E}}_q\log \prod _{k=1}^K[\frac{\Gamma ({\sum }_{v=1}^V{\lambda }_{kv})}{{\prod }_{v=1}^V\Gamma ({\lambda }_{kv})}\prod _{v=1}^V{\beta }_{kv}^{{\lambda }_{kv}-1}]\\ & =\sum _{k=1}^K[\log \Gamma (\sum _{v=1}^V{\lambda }_{kv})-\sum _{v=1}^V\log \Gamma ({\lambda }_{kv})]\\ & +\sum _{k=1}^K\sum _{v=1}^V({\lambda }_{kv}-1)[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\end{array}\text{\hspace{1em}(15)}$$
6. ${\mathbb{E}}_q\log q(z|\varphi )$
   $$\begin{array}{rl}{\mathbb{E}}_q\log q(z|\varphi )& =\sum _{n=1}^N\sum _{k=1}^K{\mathbb{E}}_q\log {\varphi }_{nk}^{z_{nk}}\\ & =\sum _{n=1}^N\sum _{k=1}^K{\mathbb{E}}_q{z}_{nk}\cdot \log {\varphi }_{nk}\\ & =\sum _{n=1}^N\sum _{k=1}^K{\varphi }_{nk}\log {\varphi }_{nk}\end{array}\text{\hspace{1em}(16)}$$
7. ${\mathbb{E}}_q\log q(\theta |\gamma )$
   $$\begin{array}{rl}{\mathbb{E}}_q\log q(\theta |\gamma )& ={\mathbb{E}}_q\log \frac{\Gamma ({\sum }_{k=1}^K{\gamma }_k)}{{\prod }_{k=1}^K\Gamma ({\gamma }_k)}\prod _{k=1}^K{\theta }_k^{{\gamma }_k-1}\\ & =\log \Gamma (\sum _{k=1}^K{\gamma }_k)-\sum _{k=1}^K\log \Gamma ({\gamma }_k)\\ & +\sum _{k=1}^K({\gamma }_k-1)[\Psi ({\gamma }_k)-\Psi (\sum _{i=1}^K{\gamma }_i)]\end{array}\text{\hspace{1em}(17)}$$

2.4 E-step推导

通过ELBO各项的推导，将$ELBO(q,w;\alpha ,\eta )$转化为了关于$\gamma ,\varphi ,\lambda ,w,\alpha ,\eta$的函数。在E-step中，我们的目标是找到最优的变分参数${\gamma }^{\ast },{\varphi }^{\ast },{\lambda }^{\ast }$以最大化ELBO项的值，因此考虑分别对三个变分参数求偏导并置零。需要注意的是变分参数的限制条件，由于$\gamma$和$\lambda$是狄利克雷分布的参数，因此没有限制条件；而$\varphi$是多项式分布的参数，因此对于单词$n$的所有主题概率之和等于1，即 ${\sum }_{k=1}^K{\varphi }_{nk}=1(n=1,2,\dots ,N)$

2.4.1 针对变分参数$\varphi$

1. 挑选出ELBO中与$\varphi$有关的项，并加入Lagrange约束条件
   $$\begin{array}{rl}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\varphi }]}& =\sum _{n=1}^N\sum _{k=1}^K{\varphi }_{nk}[\Psi ({\gamma }_k)-\Psi (\sum _{i=1}^K{\gamma }_i)]\\ & +\sum _{n=1}^N\sum _{k=1}^K\sum _{v=1}^V{\varphi }_{nk}{w}_{nv}[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\\ & -\sum _{n=1}^N\sum _{k=1}^K{\varphi }_{nk}\log {\varphi }_{nk}+\underset{Lagrange约束条件}{\underbrace{\sum _{n=1}^N{c}_n(\sum _{k=1}^K{\varphi }_{nk}-1)}}\end{array}\text{\hspace{1em}(18)}$$
2. 对${\varphi }_{nk}$求偏导
   $$\begin{array}{rl}\frac{\partial }{\partial {\varphi }_{nk}}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\varphi }]}& =\Psi ({\gamma }_k)-\Psi (\sum _{k^{\prime }=1}^K{\gamma }_{k^{\prime }})\\ & +\sum _{v=1}^V{w}_{nv}[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\\ & -\log {\varphi }_{nk}-1+c_n\end{array}\text{\hspace{1em}(19)}$$
3. 偏导数置0得到
   ϕ n k = exp ⁡ {   Ψ ( γ k ) − Ψ ( ∑ k ′ = 1 K γ k ′ ) + ∑ v = 1 V w n v [ Ψ ( λ k v ) − Ψ ( ∑ i = 1 V λ k i ) ] − 1 + c n } ∝ exp ⁡ {   Ψ ( γ k ) − Ψ ( ∑ k ′ = 1 K γ k ′ ) + ∑ v = 1 V w n v [ Ψ ( λ k v ) − Ψ ( ∑ i = 1 V λ k i ) ] } (20) \begin{aligned} \phi_{nk} &= \exp\{\,\Psi(\gamma_k) - \Psi(\sum_{k'=1}^K\gamma_{k'}) + \sum_{v=1}^Vw_{nv}[\Psi(\lambda_{kv}) - \Psi(\sum_{i=1}^V\lambda_{ki})] - 1 + c_n\}\\ &\propto \exp\{\,\Psi(\gamma_k) - \Psi(\sum_{k'=1}^K\gamma_{k'}) + \sum_{v=1}^Vw_{nv}[\Psi(\lambda_{kv}) - \Psi(\sum_{i=1}^V\lambda_{ki})]\} \end{aligned} \tag{20} ϕnk​​=exp{Ψ(γk​)−Ψ(k′=1∑K​γk′​)+v=1∑V​wnv​[Ψ(λkv​)−Ψ(i=1∑V​λki​)]−1+cn​}∝exp{Ψ(γk​)−Ψ(k′=1∑K​γk′​)+v=1∑V​wnv​[Ψ(λkv​)−Ψ(i=1∑V​λki​)]}​(20)

2.4.2 针对变分参数$\gamma$

1. 挑选出ELBO中与$\gamma$有关的项
   E L B O ( q , w ; α , η ) [ γ ] = ∑ n = 1 N ∑ k = 1 K ϕ n k [ Ψ ( γ k ) − Ψ ( ∑ i = 1 K γ i ) ] + ∑ k = 1 K ( α k − 1 ) [ Ψ ( γ k ) − Ψ ( ∑ i = 1 K γ i ) ] − log ⁡ Γ ( ∑ k = 1 K γ k ) + ∑ k = 1 K log ⁡ Γ ( γ k ) − ∑ k = 1 K ( γ k − 1 ) [ Ψ ( γ k ) − Ψ ( ∑ i = 1 K γ i ) ] = ∑ k = 1 K {   ( ∑ n = 1 N ϕ n k + α k − γ k ) [ Ψ ( γ k ) − Ψ ( ∑ i = 1 K γ k ) ]   } − log ⁡ Γ ( ∑ k = 1 K γ k ) + ∑ k = 1 K log ⁡ Γ ( γ k ) (21) \begin{aligned} ELBO(q,w;\alpha,\eta)_{\bm{[\gamma]}} &= \sum_{n=1}^N\sum_{k=1}^K\phi_{nk}[\Psi(\gamma_k)-\Psi(\sum_{i=1}^K\gamma_i)] \\ &\qquad + \sum_{k=1}^K(\alpha_k-1)[\Psi(\gamma_k)-\Psi(\sum_{i=1}^K\gamma_i)] \\ &\qquad - \log \Gamma(\sum_{k=1}^K\gamma_k) + \sum_{k=1}^K\log \Gamma(\gamma_k) \\ &\qquad - \sum_{k=1}^K(\gamma_k-1)[\Psi(\gamma_k)-\Psi(\sum_{i=1}^K\gamma_i)] \\ &= \sum_{k=1}^K \{\, (\sum_{n=1}^N\phi_{nk}+\alpha_k-\gamma_k)[\Psi(\gamma_k)-\Psi(\sum_{i=1}^K\gamma_k)]\,\} \\ &\qquad - \log \Gamma(\sum_{k=1}^K\gamma_k) + \sum_{k=1}^K\log \Gamma(\gamma_k) \end{aligned} \tag{21} ELBO(q,w;α,η)[γ]​​=n=1∑N​k=1∑K​ϕnk​[Ψ(γk​)−Ψ(i=1∑K​γi​)]+k=1∑K​(αk​−1)[Ψ(γk​)−Ψ(i=1∑K​γi​)]−logΓ(k=1∑K​γk​)+k=1∑K​logΓ(γk​)−k=1∑K​(γk​−1)[Ψ(γk​)−Ψ(i=1∑K​γi​)]=k=1∑K​{(n=1∑N​ϕnk​+αk​−γk​)[Ψ(γk​)−Ψ(i=1∑K​γk​)]}−logΓ(k=1∑K​γk​)+k=1∑K​logΓ(γk​)​(21)
2. 对${\gamma }_k$求偏导
   $$\begin{array}{rl}\frac{\partial }{\partial {\gamma }_k}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\gamma }]}& =-\Psi ({\gamma }_k)+\Psi (\sum _{k^{\prime }=1}^K{\gamma }_{k^{\prime }})\\ & +[{\Psi }^{\prime }({\gamma }_k)-{\Psi }^{\prime }(\sum _{k^{\prime }=1}^K{\gamma }_{k^{\prime }})](\sum _{n=1}^N{\varphi }_{nk}+{\alpha }_k-{\gamma }_k)\\ & -\underset{=\Psi ({\sum }_{k^{\prime }=1}^K{\gamma }_{k^{\prime }})}{\underbrace{\frac{{\Gamma }^{\prime }({\sum }_{k^{\prime }=1}^K{\gamma }_{k^{\prime }})}{\Gamma ({\sum }_{k^{\prime }=1}^K{\gamma }_{k^{\prime }})}}}+\underset{=\Psi ({\gamma }_k)}{\underbrace{\frac{{\Gamma }^{\prime }({\gamma }_k)}{\Gamma ({\gamma }_k)}}}\\ & =(\sum _{n=1}^N{\varphi }_{nk}+{\alpha }_k-{\gamma }_k)[{\Psi }^{\prime }({\gamma }_k)-{\Psi }^{\prime }(\sum _{k^{\prime }=1}^K{\gamma }_{k^{\prime }})]\end{array}\text{\hspace{1em}(22)}$$
3. 偏导数置0得到
   $${\gamma }_k={\alpha }_k+\sum _{n=1}^N{\varphi }_{nk}\text{\hspace{1em}(23)}$$

2.4.3 针对变分参数$\lambda$

1. 挑选出ELBO中与$\lambda$有关的项
   $$\begin{array}{rl}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\lambda }]}& =\sum _{k=1}^K\sum _{v=1}^V({\eta }_v-1)[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\\ & +\sum _{n=1}^N\sum _{k=1}^K\sum _{v=1}^V{\varphi }_{nk}{w}_{nv}[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\\ & -\sum _{k=1}^K[\log \Gamma (\sum _{v=1}^V{\lambda }_{kv})-\sum _{v=1}^V\log \Gamma ({\lambda }_{kv})]\\ & -\sum _{k=1}^K\sum _{v=1}^V({\lambda }_{kv}-1)[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\\ & =\sum _{k=1}^K\sum _{v=1}^V[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})][({\eta }_v-1)\\ & +\sum _{n=1}^N{\varphi }_{nk}{w}_{nv}-({\lambda }_{kv}-1)]\\ & -\sum _{k=1}^K[\log \Gamma (\sum _{v=1}^V{\lambda }_{kv})-\sum _{v=1}^V\log \Gamma ({\lambda }_{kv})]\end{array}\text{\hspace{1em}(24)}$$
2. 对${\lambda }_{kv}$求偏导数
   $$\begin{array}{rl}\frac{\partial }{\partial {\lambda }_{kv}}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\lambda }]}& =[{\Psi }^{\prime }({\lambda }_{kv})-{\Psi }^{\prime }(\sum _{i=1}^V{\lambda }_{ki})][\sum _{n=1}^N{\varphi }_{nk}{w}_{nv}+{\eta }_v-{\lambda }_{kv}]\\ & -\Psi ({\lambda }_{kv})+\Psi (\sum _{i=1}^V{\lambda }_{ki})\\ & -\underset{=\Psi ({\sum }_{v^{\prime }=1}^V{\lambda }_{k{v}^{\prime }})}{\underbrace{\frac{{\Gamma }^{\prime }({\sum }_{v^{\prime }=1}^V{\lambda }_{k{v}^{\prime }})}{\Gamma ({\sum }_{v^{\prime }=1}^V{\lambda }_{k{v}^{\prime }})}}}+\underset{=\Psi ({\lambda }_{kv})}{\underbrace{\frac{{\Gamma }^{\prime }({\lambda }_{kv})}{\Gamma ({\lambda }_{kv})}}}\\ & =[{\Psi }^{\prime }({\lambda }_{kv})-{\Psi }^{\prime }(\sum _{i=1}^V{\lambda }_{ki})][\sum _{n=1}^N{\varphi }_{nk}{w}_{nv}+{\eta }_v-{\lambda }_{kv}]\end{array}\text{\hspace{1em}(25)}$$
3. 偏导数置0得到
   $${\lambda }_{kv}={\eta }_v+\sum _{n=1}^N{\varphi }_{nk}{w}_{nv}\text{\hspace{1em}(26)}$$

2.4.4 E-step更新公式

(20)、(23)、(26)三式已经将E-step中三个变分参数的更新公式给出，但这里需要注意的是之前我们都是按照一篇文档进行的公式推导，因此需要把训练数据扩展至整个语料库$D$，得到最终的更新公式。这里需要注意的是参数$\varphi$和$\gamma$是每个文档都不同的，而参数$\lambda$是整个语料库共有的。
{ ϕ d n k ∝ exp ⁡ {   Ψ ( γ d k ) − Ψ ( ∑ k ′ = 1 K γ d k ′ ) + ∑ v = 1 V w d n v [ Ψ ( λ k v ) − Ψ ( ∑ i = 1 V λ k i ) ]   } γ d k = α k + ∑ n = 1 N ϕ d n k λ k v = η v + ∑ d = 1 M ∑ n = 1 N ϕ d n k   w d n v (27) \left\{ \begin{aligned} \phi_{dnk} & \propto \exp\{\,\Psi(\gamma_{dk}) - \Psi(\sum_{k'=1}^K\gamma_{dk'}) + \sum_{v=1}^Vw_{dnv}[\Psi(\lambda_{kv}) - \Psi(\sum_{i=1}^V\lambda_{ki})] \,\} \\ \gamma_{dk} & = \alpha_k + \sum_{n=1}^N\phi_{dnk} \\ \lambda_{kv}&=\eta_v + \sum_{d=1}^M\sum_{n=1}^N\phi_{dnk}\,w_{dnv} \end{aligned} \right.\tag{27} ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧​ϕdnk​γdk​λkv​​∝exp{Ψ(γdk​)−Ψ(k′=1∑K​γdk′​)+v=1∑V​wdnv​[Ψ(λkv​)−Ψ(i=1∑V​λki​)]}=αk​+n=1∑N​ϕdnk​=ηv​+d=1∑M​n=1∑N​ϕdnk​wdnv​​(27)在E-step中，只需循环更新$\varphi ,\gamma ,\lambda$三个参数，直至收敛即可。但这里需要注意一点，由于参数$\varphi$是有限制条件的，因此当更新完参数$\varphi$后要进行归一化，即对于任意文档$d$和其中的单词$n$，都有${\sum }_{k=1}^K{\varphi }_{dnk}=1$

2.5 M-step推导

在E-step找到最佳的变分参数$\varphi ,\gamma ,\lambda$之后，接下来进入M-step，即需要固定变分分布$q(\theta ,z,\beta ;\varphi ,\gamma ,\lambda )$，寻找模型的参数$\alpha ,\eta$使得模型对数似然函数的下界$ELBO(q,x;\alpha ,\eta )$达到最大。这里需要分别求出ELBO对参数$\alpha ,\eta$的偏导数，然后采用梯度下降法或二阶牛顿迭代法寻找最优的参数解。

2.5.1 针对模型参数$\alpha$

1. 挑选出ELBO中与$\alpha$有关的项
   需要注意的是由于模型参数$\alpha$都是针对数据集中所有文档的，即每个文档的参数$\alpha$相同，因此在下面推导时会针对所有文档进行参数更新。
   $$\begin{array}{rl}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\alpha }]}& =\sum _{d=1}^M[\log \Gamma (\sum _{k=1}^K{\alpha }_k)-\sum _{k=1}^K\log \Gamma ({\alpha }_k)]\\ & +\sum _{d=1}^M\sum _{k=1}^K({\alpha }_k-1)[\Psi ({\gamma }_{dk})-\Psi (\sum _{i=1}^K{\gamma }_{di})]\end{array}\text{\hspace{1em}(28)}$$
2. 对${\alpha }_k$求一阶偏导数
   $$\begin{array}{rl}\frac{\partial }{\partial {\alpha }_k}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\alpha }]}& =M\cdot [\Psi (\sum _{i=1}^K{\alpha }_i)-\Psi ({\alpha }_k)]\\ & +\sum _{d=1}^M[\Psi ({\gamma }_{dk})-\Psi (\sum _{i=1}^K{\gamma }_{di})]\end{array}\text{\hspace{1em}(29)}$$
3. 对${\alpha }_j$求二阶偏导数
   $$\begin{array}{rl}\frac{\partial }{\partial {\alpha }_k{\alpha }_j}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\alpha }]}& =M\cdot [{\Psi }^{\prime }(\sum _{i=1}^K{\alpha }_i)-\delta (k,j){\Psi }^{\prime }({\alpha }_k)]\end{array}\text{\hspace{1em}(30)}$$其中$$\delta (k,j)=\{\begin{array}{rl}1,& k=j\\ 0,& k\ne j\end{array}\text{\hspace{1em}(31)}$$

2.5.2 针对模型参数$\eta$

1. 挑选出ELBO中与$\eta$有关的项
   $$\begin{array}{rl}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\eta }]}& =K\log \Gamma (\sum _{v=1}^V{\eta }_v)-K\sum _{v=1}^V\log \Gamma ({\eta }_v)\\ & +\sum _{k=1}^K\sum _{v=1}^V({\eta }_v-1)[\Psi ({\lambda }_{kv})-\Psi (\sum _{i=1}^V{\lambda }_{ki})]\end{array}\text{\hspace{1em}(32)}$$
2. 对${\eta }_i$求一阶偏导数
   $$\begin{array}{rl}\frac{\partial }{\partial {\eta }_i}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\eta }]}& =K\cdot [\Psi (\sum _{i^{\prime }=1}^V{\eta }_{i^{\prime }})-\Psi ({\eta }_i)]\\ & +\sum _{k=1}^K[\Psi ({\lambda }_{ki})-\Psi (\sum _{i^{\prime }=1}^V{\lambda }_{k{i}^{\prime }})]\end{array}\text{\hspace{1em}(33)}$$
3. 对${\eta }_j$求二阶偏导数
   $$\begin{array}{rl}\frac{\partial }{\partial {\eta }_i{\eta }_j}ELBO(q,w;\alpha ,\eta {)}_{[\mathbf{\eta }]}& =K\cdot [{\Psi }^{\prime }(\sum _{i^{\prime }=1}^V{\eta }_{i^{\prime }})-\delta (i,j){\Psi }^{\prime }({\eta }_i)]\end{array}\text{\hspace{1em}(34)}$$

2.5.3 M-step更新公式（牛顿迭代法）

M-step通常采用牛顿迭代法求解，其收敛速度比梯度下降快一些
$$\{\begin{array}{rl}{\alpha }_k& ={\alpha }_k+\frac{{\nabla }_{{\alpha }_k}ELBO}{{\nabla }_{{\alpha }_k{\alpha }_j}ELBO}\\ {\eta }_i& ={\eta }_i+\frac{{\nabla }_{{\eta }_i}ELBO}{{\nabla }_{{\eta }_i{\eta }_j}ELBO}\end{array}\text{\hspace{1em}(35)}$$

参考资料

文本主题模型之LDA(三) LDA求解之变分推断EM算法
Gaussian LDA(1): LDA回顾以及变分EM