Gibbs Sampling
Background
所有的推导可以说都是根据这张图片:
α∈RM×K
θm∈RK
β∈RK×V
ϕk∈RV
LDA的目的就是为了在给定 α,β 的情况下,求出 θ 和 ϕ 。
推导1 — 联合分布
求解 p(s,z|α,β)=p(w|z,β)⋅p(z|α)
两个部分 p(w|z,β) , p(z|α) 分别考虑。
对于第一部分: p(w|z,β)=∫p(x|z,ϕ)⋅p(ϕ|β)dϕ
- p(x|z,ϕ)=∑Kk=1p(w|zk,ϕk)=∑Kk=1∏Vv=1p(w|zk,ϕk,v)=ϕntkk,v ,其中 ntk 表示的是所有文档中属于topic k的词v的个数。
- p(ϕk|β)=Dir(ϕk|β)=1B(β)∏Vv=1ϕβv−1k,v
所以 p(w|z,β)=∫∏Kk=1∏Vv=1ϕnvk,v⋅∏Kk=11B(β)∏Vv=1ϕβv−1k,vdϕk,v=∏Kk=11B(β)∫∏Vv=1ϕnvk+βk−1k