1. Gibbs采样算法求解LDA的思路
首先,回顾LDA的模型图如下:
在Gibbs采样算法求解LDA的方法中,我们的α,η是已知的先验输入,我们的目标是得到各个,
对应的整体
,
的概率分布,即文档主题的分布和主题词的分布。由于我们是采用Gibbs采样法,则对于要求的目标分布,我们需要得到对应分布各个特征维度的条件概率分布。
具体到问题,我们的所有文档联合起来形成的词向量是已知的数据,不知道的是语料库主题
的分布。假如我们可以先求出w,z的联合分布p(
,
),进而可以求出某一个词
对应主题特征
的条件概率分布p(
=k|
,
)。其中,
代表去掉下标为i的词对应的主题后的主题分布。有了条件概率分布 p(
=k|
,
),我们就可以进行Gibbs采样,最终在Gibbs采样收敛后得到第i个词的主题。
如果我们通过采样得到了所有词的主题,那么通过统计所有词的主题计数,就可以得到各个主题的词分布。接着统计各个文档对应词的主题计数,就可以得到各个文档的主题分布。
以上就是Gibbs采样算法求解LDA的思路。
2. 主题和词的联合分布与条件分布的求解
要使用Gibbs采样求解LDA,关键是得到条件概率 p(=k|
,
)的表达式。那么这一节我们的目标就是求出这个表达式供Gibbs采样使用。
首先我们简化下Dirichlet分布的表达式,其中△(α)是归一化参数:
现在我们先计算下第d个文档的主题的条件分布p(|α),在上一篇中我们讲到α→
→
组成了Dirichlet-multi共轭,利用这组分布,计算 p(
|α)如下:
其中在第d个文档中,第k个主题的词的个数表示为:, 对应的多项分布的计数可以表示为:
=(
,
,
,...
)
有了单一一个文档的主题条件分布,则可以得到所有文档的主题条件分布为:
同样的方法,可以得到,所有主题对应的词的条件分布p(|
,
)为:
其中,第k个主题中,第v个词的个数表示为:, 对应的多项分布的计数可以表示为
=(
,
,
,...
)
最终我们得到主题和词的联合分布p( ,
|
,
)如下:
有了联合分布,现在我们就可以求Gibbs采样需要的条件分布 p(=k|
,
)了。
对于下标i,由于它对应的词是可以观察到的,因此我们有:
对于=k,
=t它只涉及到第d篇文档和第k个主题两个Dirichlet-multi共轭,即:
→
→
→
→
其余的M+K−2个Dirichlet-multi共轭和它们这两个共轭是独立的。如果我们在语料库中去掉,
并不会改变之前的M+K个Dirichlet-multi共轭结构,只是向量的某些位置的计数会减少,因此对于
,
,对应的后验分布为:
现在开始计算Gibbs采样需要的条件概率:
在上一篇LDA基础里我们讲到了Dirichlet分布的期望公式,因此我们有:
最终我们得到每个词对应主题的Gibbs采样的条件概率公式为:
有了这个公式,我们就可以用Gibbs采样去采样所有词的主题,当Gibbs采样收敛后,即得到所有词的采样主题。
利用所有采样得到的词和主题的对应关系,我们就可以得到每个文档词主题的分布和每个主题中所有词的分布
。