文本主题模型LDA(二)求解之Gibbs采样算法

在第一篇文本主题模型LDA(一)之基础知识一文中已经详细讲解了LDA模型的基本原理过程，本小节将继续讲解LDA模型的基于Gibbs采样的参数求解过程，不了解Gibbs采样过程的可先阅读一下之前写的蒙特卡洛之Gibbs采样。

Gibbs采样算法求解LDA的思路

首先，回顾LDA的模型图如下
在Gibbs采样算法求解LDA的方法中，我们的$\alpha ,\beta$是已知的先验输入,我们的目标是得到各个$z_{dn},w_{kn}$对应的整体$\vec{z},\vec{w}$ 的概率分布，即文档主题的分布和主题词的分布。由于我们是采用Gibbs采样法，则对于要求的目标分布，我们需要得到对应分布各个特征维度的条件概率分布。

具体到我们的问题，我们的所有文档联合起来形成的词向量$\vec{w}$ 是已知的数据，不知道的是语料库主题$\vec{z}$ 的分布。假如我们可以先求出$w,z$的联合分布$p(\vec{w},\vec{z})$，进而可以求出某一个词$w_i$对应主题特征$z_i$的条件概率分布$p(z_i=k|\vec{w},{\vec{z}}_{\neg i})$,其中，${\vec{z}}_{\neg i}$代表去掉下标为$i$的词后的主题分布。有了条件概率分布$p(z_i=k|\vec{w},{\vec{z}}_{\neg i})$，我们就可以进行Gibbs采样，最终在Gibbs采样收敛后得到第i个词的主题。

如果我们通过采样得到了所有词的主题,那么通过统计所有词的主题计数，就可以得到各个主题的词分布。接着统计各个文档对应词的主题计数，就可以得到各个文档的主题分布。
以上就是Gibbs采样算法求解LDA的思路。

主题和词的联合分布与条件分布的求解

从上一节可以发现，要使用Gibbs采样求解LDA，关键是得到条件概率$p(z_i=k|\vec{w},{\vec{z}}_{\neg i})$的表达式。那么这一节我们的目标就是求出这个表达式供Gibbs采样使用。
首先我们简化下Dirichlet分布的表达式,其中$△(\alpha )$是归一化参数：$$Dirichlet(\vec{p}|\vec{\alpha })=\frac{\Gamma (\sum _{k=1}^K{\alpha }_k)}{{\prod }_{k=1}^K\Gamma ({\alpha }_k)}\prod _{k=1}^K{p}_k^{{\alpha }_k-1}=\frac{1}{△(\vec{\alpha })}\prod _{k=1}^K{p}_k^{{\alpha }_k-1}$$由于这是一个分布，所以概率积分结果为1：$$\int \frac{\Gamma (\sum _{k=1}^K{\alpha }_k)}{{\prod }_{k=1}^K\Gamma ({\alpha }_k)}\prod _{k=1}^K{p}_k^{{\alpha }_k-1}dp=1$$那么可以得到：$$\int \prod _{k=1}^K{p}_k^{{\alpha }_k-1}dp=\frac{{\prod }_{k=1}^K\Gamma ({\alpha }_k)}{\Gamma (\sum _{k=1}^K{\alpha }_k)}=△(\vec{\alpha })$$
现在我们先计算下第d个文档的主题的条件分布$p({\vec{z}}_d|\alpha )$。在上一篇中我们知道，$\alpha \to {\theta }_d\to {\vec{z}}_d$表示生成第d篇文档中所有词对应的topics，显然$\alpha \to {\theta }_d$对应Dirichlet分布,${\theta }_d\to {\vec{z}}_d$对应Multinormial分布，所有整体是一个Dirichlet-Multinormial共轭分布，利用这组共轭分布可以计算出$p({\vec{z}}_d|\vec{\alpha })$如下：$$\begin{array}{rl}p({\vec{z}}_d|\vec{\alpha })& =\int p({\vec{z}}_d|{\vec{\theta }}_d)p({\theta }_d|\vec{\alpha })d{\vec{\theta }}_d\\ & =\int \prod _{k=1}^K{p}_k^{n_d^{(k)}}Dirichlet(\vec{\alpha })d{\vec{\theta }}_d\\ & =\int \prod _{k=1}^K{p}_k^{n_d^{(k)}}\frac{1}{△(\vec{\alpha })}\prod _{k=1}^K{p}_k^{{\alpha }_k-1}d{\vec{\theta }}_d\\ & =\frac{1}{△(\vec{\alpha })}\int \prod _{k=1}^K{p}_k^{n_d^{(k)}+{\alpha }_k-1}d{\vec{\theta }}_d\\ & =\frac{△({\vec{n}}_d+\vec{\alpha })}{△(\vec{\alpha })}\end{array}$$其中，在第d个文档中，第k个主题的词的个数表示为：$n_d^{(k)}$, 对应的多项分布的计数可以表示为:$${\vec{n}}_d=(n_d^{(1)},n_d^{(2)},...n_d^{(K)})$$有了单一一个文档的主题条件分布，则可以得到所有文档的主题条件分布为：$$p(\vec{z}|\vec{\alpha })=\prod _{d=1}^{M}p({\vec{z}}_d|\vec{\alpha })=\prod _{d=1}^M\frac{△({\vec{n}}_d+\vec{\alpha })}{△(\vec{\alpha })}$$同样的方法，可以得到，第k个主题对应的词的条件分布$p(\vec{w}|\vec{z},\vec{\eta })$为：$$p(\vec{w}|\vec{z},\vec{\eta })=\prod _{k=1}^{K}p({\vec{w}}_k|\vec{z},\vec{\eta })=\prod _{k=1}^K\frac{△({\vec{n}}_k+\vec{\eta })}{△(\vec{\eta })}$$其中，第k个主题中，第v个词的个数表示为：$n_k^{(v)}$, 对应的多项分布的计数可以表示为:$${\vec{n}}_k=(n_k^{(1)},n_k^{(2)},...n_k^{(V)})$$最终我们得到主题和词的联合分布$p(\vec{w},\vec{z}|\vec{\alpha },\vec{\eta })$如下：$$p(\vec{w},\vec{z})\propto p(\vec{w},\vec{z}|\vec{\alpha },\vec{\eta })=p(\vec{z}|\vec{\alpha })p(\vec{w}|\vec{z},\vec{\eta })=\prod _{d=1}^M\frac{△({\vec{n}}_d+\vec{\alpha })}{△(\vec{\alpha })}\prod _{k=1}^K\frac{△({\vec{n}}_k+\vec{\eta })}{△(\vec{\eta })}$$有了联合分布，现在我们就可以求Gibbs采样需要的条件分布$p(z_i=k|\vec{w},{\vec{z}}_{\neg i})$了。需要注意的是这里的i是一个二维下标，对应第d篇文档的第n个词。
对于下标$i$,由于它对应的词$w_i$是可以观察到的，因此我们有：$$p(z_i=k|\vec{w},{\vec{z}}_{\neg i})\propto p(z_i=k,w_i=t|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})$$对于$z_i=k,w_i=t$,它只涉及到第d篇文档和第k个主题两个Dirichlet-multi共轭，即：$$\vec{\alpha }\to {\vec{\theta }}_d\to {\vec{z}}_d$$$$\vec{\eta }\to {\vec{\beta }}_k\to {\vec{w}}_{(k)}$$其余的$M+K-2$个Dirichlet-multi共轭和它们这两个共轭是独立的。如果我们在语料库中去掉$z_i,w_i$,并不会改变之前的$M+K$个Dirichlet-multi共轭结构，只是向量的某些位置的计数会减少，因此对于${\vec{\theta }}_d,{\vec{\beta }}_k$对应的后验分布为：$$p({\vec{\theta }}_d|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})=Dirichlet({\vec{\theta }}_d|{\vec{n}}_{d,\neg i}+\vec{\alpha })$$$$p({\vec{\beta }}_k|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})=Dirichlet({\vec{\beta }}_k|{\vec{n}}_{k,\neg i}+\vec{\eta })$$现在开始计算Gibbs采样需要的条件概率：$$\begin{array}{rl}p(z_i=k|\vec{w},{\vec{z}}_{\neg i})& \propto p(z_i=k,w_i=t|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})\\ & =\int p(z_i=k,w_i=t,{\vec{\theta }}_d,{\vec{\beta }}_k|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})d{\vec{\theta }}_{d}d{\vec{\beta }}_k\\ & =\int p(z_i=k,{\vec{\theta }}_d|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})p(w_i=t,{\vec{\beta }}_k|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})d{\vec{\theta }}_{d}d{\vec{\beta }}_k\\ & =\int p(z_i=k|{\vec{\theta }}_d)p({\vec{\theta }}_d|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})p(w_i=t|{\vec{\beta }}_k)p({\vec{\beta }}_k|{\vec{w}}_{\neg i},{\vec{z}}_{\neg i})d{\vec{\theta }}_{d}d{\vec{\beta }}_k\\ & =\int p(z_i=k|{\vec{\theta }}_d)Dirichlet({\vec{\theta }}_d|{\vec{n}}_{d,\neg i}+\vec{\alpha })d{\vec{\theta }}_d\\ & \ast \int p(w_i=t|{\vec{\beta }}_k)Dirichlet({\vec{\beta }}_k|{\vec{n}}_{k,\neg i}+\vec{\eta })d{\vec{\beta }}_k\\ & =\int {\theta }_{dk}Dirichlet({\vec{\theta }}_d|{\vec{n}}_{d,\neg i}+\vec{\alpha })d{\vec{\theta }}_d\int {\beta }_{kt}Dirichlet({\vec{\beta }}_k|{\vec{n}}_{k,\neg i}+\vec{\eta })d{\vec{\beta }}_k\\ & =E_{Dirichlet({\theta }_d)}({\theta }_{dk})E_{Dirichlet({\beta }_k)}({\beta }_{kt})\end{array}$$在贝叶斯的框架下，如果我们得到了参数的后验分布，那么应该如何估计参数呢？合理的方式是使用后验分布的极大值点，或者是参数在后验分布下的均值，在这里我们取平均值作为参数的估计值。
在上一篇LDA基础里我们讲到了Dirichlet分布的期望公式，因此我们有：$$E_{Dirichlet({\theta }_d)}({\theta }_{dk})=\frac{n_{d,\neg i}^k+{\alpha }_k}{\sum _{s=1}^K{n}_{d,\neg i}^s+{\alpha }_s}$$$$E_{Dirichlet({\beta }_k)}({\beta }_{kt})=\frac{n_{k,\neg i}^t+{\eta }_t}{\sum _{f=1}^V{n}_{k,\neg i}^f+{\eta }_f}$$考虑到$\alpha$在Dirichlet分布中的物理意义是事件的先验的伪计数，这个估计式子的含义是很直观的：每个参数的估计值是其对应事件的先验的伪计数和数据中的计数的和在整体计数中的比例。

最终我们得到每个词对应主题的Gibbs采样的条件概率公式为：$$p(z_i=k|\vec{w},{\vec{z}}_{\neg i})=\frac{n_{d,\neg i}^k+{\alpha }_k}{\sum _{s=1}^K{n}_{d,\neg i}^s+{\alpha }_s}\frac{n_{k,\neg i}^t+{\eta }_t}{\sum _{f=1}^V{n}_{k,\neg i}^f+{\eta }_f}$$有了这个公式，我们就可以用Gibbs采样去采样所有词的主题，当Gibbs采样收敛后，即得到所有词的采样主题。利用所有采样得到的词和主题的对应关系，我们就可以得到每个文档词主题的分布${\theta }_d$和每个主题中所有词的分布${\beta }_k$。

LDA Gibbs采样算法流程总结

(1)选择合适的主题数$K$, 选择合适的超参数向量$\vec{\alpha },\vec{\eta }$ ；
(2)对应语料库中每一篇文档的每一个词，随机的赋予一个主题编号$z$；
(3)重新扫描语料库，对于每一个词，利用Gibbs采样公式更新它的topic编号，并在语料库中进行更新；
(4)重复第3步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛；
(5)统计语料库中的各个文档各个词的主题，根据$({\theta }_{dk})=\frac{n_{d,\neg i}^k+{\alpha }_k}{\sum _{s=1}^K{n}_{d,\neg i}^s+{\alpha }_s}$，得到文档主题分布${\theta }_d$，统计语料库中各个主题词的分布，根据$({\beta }_{kt})=\frac{n_{k,\neg i}^t+{\eta }_t}{\sum _{f=1}^V{n}_{k,\neg i}^f+{\eta }_f}$，得到LDA的主题与词的分布${\beta }_k$；

下面我们再来看看当新文档出现时，如何统计该文档的主题。此时我们的模型已定，也就是LDA的各个主题的词分布${\beta }_k$已经确定，我们需要得到的是该文档的主题分布。因此在Gibbs采样时，我们的$E_{Dirichlet({\beta }_k)}({\beta }_{kt})$已经固定，只需要对前半部分$E_{Dirichlet({\theta }_d)}({\theta }_{dk})$进行采样计算即可。
现在我们总结下LDA Gibbs采样算法的预测流程：
(1)对当前文档的每一个词，随机的赋予一个主题编号$z$；
(2)重新扫描当前文档，对于每一个词，利用Gibbs采样公式更新它的topic编号；
(3)重复第2步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛；
(4)统计文档中各个词的主题，得到该文档主题分布。