LDA Gibbs Sampling公式推导

Gibbs Sampling

Background

所有的推导可以说都是根据这张图片：

$\alpha \in \mathbb{R}^{M \times K}$

$\theta_m \in \mathbb{R}^K$

$\beta \in \mathbb{R}^{K \times V}$

$\phi_k \in \mathbb{R}^{V}$

LDA的目的就是为了在给定$\alpha, \beta$的情况下，求出$\theta$和$\phi$。

推导1 — 联合分布

求解 $p(s,z|\alpha, \beta) = p(w|z,\beta) \cdot p(z|\alpha)$

两个部分$p(w|z,\beta)$, $p(z|\alpha)$分别考虑。

对于第一部分： $p(w|z,\beta) = \int p(x|z,\phi) \cdot p(\phi|\beta) d \phi$

• $p(x|z,\phi) = \sum_{k=1}^K p(w|z_k,\phi_k) = \sum_{k=1}^K \prod_{v=1}^{V} p(w|z_k, \phi_{k,v}) = \phi_{k,v}^{n_k^t}$，其中${n_k^t}$表示的是所有文档中属于topic k的词v的个数。
• $p(\phi_k|\beta) = Dir(\phi_k|\beta) = \frac{1}{B(\beta)} \prod_{v=1}^V \phi_{k,v}^{\beta_v-1}$

所以 p(w|z,β)=∫∏Kk=1∏Vv=1ϕnvk,v⋅∏Kk=11B(β)∏Vv=1ϕβv−1k,vdϕk,v=∏Kk=11B(β)∫∏Vv=1ϕnvk+βk−1k