本文探讨了Gibbs Sampling在主题模型LDA中的使用，旨在找到最佳的文档-主题分布和主题-词分布。通过计算概率P(wi|topic) * P(topic|doc)，并调整超参数α和β，可以影响文档和词汇倾向于特定主题的程度。实验虽然未达到论文结果，但揭示了参数调整如何影响主题集中度。代码和相关讨论可供进一步研究。
先把问题描述一下：
如果我们已知了topic内的每个词的词频，比如下图中topic1 中money 2 次，loan 3次...那么任意给一个文档我们可以对里面每一个词算一个产生这个词的概率即 P(w=wi|t=tj)
如下图，doc1 中的money 百分之百的来自于topic1 。doc2 中的词用topic1 无法全部解释，必须借助topic2 。
但现在问题是，如果我们只有一堆文档，Doc1，Doc2，Doc3，且拍脑袋的大概知道会有2个topic，那么怎么产生着两个topic才能最好的解释这三个文档呢？
因此我们要计算一个概率，即文档中的这个词活脱脱的呈现在我们面前的概率P（wi），我们尽可能想办法让这个概率最大。就好像XX厂长成功了，我们要罗织功劳，让XX厂长成功这件事，最可信。
那么这个概率计算的方法如下图，简单来说就是 P（wi） = P（wi|topic) * P(topic|doc)*p(doc)，我们省略p(doc)【求解没有意义】于是得到下面公式。
现在问题又来了，如果给定一个文档di的一个词wi，他最大可能是来自
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
