文章标题

最新推荐文章于 2023-10-19 15:03:50 发布

xxy_93

最新推荐文章于 2023-10-19 15:03:50 发布

阅读量114

点赞数

分类专栏：主题模型文章标签： LDA主题模型原理公

本文链接：https://blog.csdn.net/xxy_93/article/details/78588242

版权

主题模型专栏收录该内容

1 篇文章 0 订阅

订阅专栏

以下内容均来自于对LDA漫游指南的理解
gibbs采样

为了使用gibbs采样，往往需要获得联合概率分布，最终是想得到这样一个条件概率分布 $p(\vec{z}|\vec{w},\vec{\alpha},\vec{\beta})$ ，那么就要先得到联合概率分布 $p(\vec{z}，\vec{w}|\vec{\alpha},\vec{\beta})$ 。
以下就是如何得到 $p(\vec{z}，\vec{w}|\vec{\alpha},\vec{\beta})$
首先将式子拆分成两块， $p(\vec{z}，\vec{w}|\vec{\alpha},\vec{\beta})$ = $p(\vec{w}|\vec{z},\vec{\beta})*p(\vec{z}|\vec{\alpha})$
$p(\vec{w}|\vec{z},\vec{\beta})$ = $\int{p(\vec{w}|\vec{z},\vec{\phi})*p(\vec{\phi}|\vec{\beta})d\vec{\phi}}$

p (w ⃗ | z ⃗, ϕ ⃗) = \prod i = 1 W p (w i | z i) = \prod k = 1 K \prod i : z i = k p (w i = t | z i = k) = \prod k = 1 K \prod t = 1 V ϕ n t k k, t

$p(\vec{w}|\vec{z},\vec{\phi})=\prod_{i=1}^W p(w_i|z_i)=\prod_{k=1}^K\prod_{i:z_i=k}p(w_i=t|z_i=k)=\prod_{k=1}^K\prod_{t=1}^V\phi_{k,t}^{n_k^t}$
其中

ϕk,t $\phi_{k,t}$ 表示主题k下出现词t的概率，

ntk $n_k^t$ 表示主题k下词t出现的次数，

zi=k $z_i=k$ 表示第i个词的主题是k，这里的W表示的是不去重的词的总个数，比如语料库只有两篇文章，第一篇文章有3个词，第二篇文章有4个词，那么W就是3+4=7个词。

p (w ⃗ | z ⃗, β) = \int p (w ⃗ | z ⃗, ϕ ⃗) * p (ϕ ⃗ | β ⃗) d ϕ ⃗ = \int \prod k = 1 K \prod t = 1 V ϕ n (k t) k, t * \prod k = 1 K 1 Δ ( β ⃗ ) \prod t = 1 V ϕ β t - 1 k, t = \int \prod k = 1 K 1 Δ ( β ⃗ ) \prod t = 1 V ϕ β t - 1 + n (t k) k, t = \prod k = 1 K Δ ( n k \to + β ⃗ ) Δ ( β ⃗ )

$p(\vec{w}|\vec{z},\beta)=\int{p(\vec{w}|\vec{z},\vec{\phi})*p(\vec{\phi}|\vec{\beta})d\vec{\phi}}=\int{\prod_{k=1}^K\prod_{t=1}^V\phi_{k,t}^{n_k^(t)}}*\prod_{k=1}^K\frac{1}{\Delta(\vec{\beta})}\prod_{t=1}^V\phi_{k,t}^{\beta_t-1}=\int\prod_{k=1}^K\frac{1}{\Delta(\vec{\beta})}\prod_{t=1}^V\phi_{k,t}^{\beta_t-1+n_t^(k)}=\prod_{k=1}^K\frac{\Delta(\vec{n_k}+\vec{\beta})}{\Delta(\vec{\beta})}$
此处的