浅谈gibbs sampling（LDA实验）

最新推荐文章于 2025-05-05 14:40:10 发布
最新推荐文章于 2025-05-05 14:40:10 发布
阅读量2.6w 收藏 17
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pennyliang/article/details/8704789
版权
本文探讨了Gibbs Sampling在主题模型LDA中的使用，旨在找到最佳的文档-主题分布和主题-词分布。通过计算概率P(wi|topic) * P(topic|doc)，并调整超参数α和β，可以影响文档和词汇倾向于特定主题的程度。实验虽然未达到论文结果，但揭示了参数调整如何影响主题集中度。代码和相关讨论可供进一步研究。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

先把问题描述一下：

如果我们已知了topic内的每个词的词频，比如下图中topic1 中money 2 次，loan 3次...那么任意给一个文档我们可以对里面每一个词算一个产生这个词的概率即 P(w=wi|t=tj)

如下图，doc1 中的money 百分之百的来自于topic1 。doc2 中的词用topic1 无法全部解释，必须借助topic2 。

但现在问题是，如果我们只有一堆文档，Doc1，Doc2，Doc3，且拍脑袋的大概知道会有2个topic，那么怎么产生着两个topic才能最好的解释这三个文档呢？

       

因此我们要计算一个概率，即文档中的这个词活脱脱的呈现在我们面前的概率P（wi），我们尽可能想办法让这个概率最大。就好像XX厂长成功了，我们要罗织功劳，让XX厂长成功这件事，最可信。

 那么这个概率计算的方法如下图，简单来说就是 P（wi） = P（wi|topic) * P(topic|doc)*p(doc)，我们省略p(doc)【求解没有意义】于是得到下面公式。




现在问题又来了，如果给定一个文档di的一个词wi，他最大可能是来自

最低0.47元/天 解锁文章
pennyliang
关注
机器学习中的MC、MCMC、Gibbs采样
scott198512的博客
05-15 5507
介绍MC、MCMC及吉布斯采样方法原理
什么是吉布斯采样（Gibbs Sampling）
weixin_38502514的博客
01-19 1万+
目录吉布斯采样的前世今生马尔可夫链MCMC采样M-H采样吉布斯采样（Gibbs）吉布斯采样原理二维情况高维情况吉布斯采样过程参考资料 吉布斯采样的前世今生 简单的分布我们可以直接采样，比如正太分布，均匀分布。 不太好采样的分布，我们可以利用容易采样的分布，然后使用接受拒绝策略进行采样 ，祥见蒙特卡洛方法。 吉布斯采样是为了解决上述方法无法解决的情况： 不知道分布p(x,y)p(x,y)p(x,y)，只知道其条件分布p(x∣y),p(y∣x)p(x|y),p(y|x)p(x∣y),p(y∣x)，无法利用上
LDA模型里Gibbs sampling后验概率详细推导过程
06-05
LDA模型的理解对很多人是一种挑战，尤其是参数估计部分。本文档详细给出了TOTLDA和LDA两个主题概率模型的参数估计需要用到的后验概率的推导过程，并采用了两种方法，对主题概率模型研究人员具有很好的启发意义！
Streaming Gibbs Sampling for LDA (SGS)
qifeiyang112358的博客
09-28 224
主要两个重点，分布式和流处理，其模型主要的思想和SVB是相同的，   流：后验作为先验，前n-1的数据后验作为n的先验，且只需要保存Nkv的值，加到β上。另有衰减参数，   分：参数服务器模式，Nkv作为全局参数，保存在中心服务器，worker计算结果后，返回并更新参数，异步更新，计算用到Nkv和Wt，以及α先验。   话题模型中需要的主要三个参数，分别是Nkd，Nkv，Nk，其中Nk...
终于清楚了！机器学习、深度学习、强化学习、迁移学习、集成学习和关联规则学习大解析
最新发布
youmaob的博客
05-05 1469
简单来说，机器学习就是让计算机通过数据来学习，而不是直接告诉它该怎么做。就像我们人类一样，不是每件事都需要别人告诉我们怎么做，有时候我们通过观察和实践就能学会。
LDA中Gibbs采样算法和并行化
Keep Thinking And Learning
09-25 5917
最近在用topic model跑一些数据，算法采用了LDA和PLSA进行对比，由于数据量稍大，采用了LDA的并行化版本，对其并行化方法很感兴趣，查看了相关资料后先总结如下，有时间可以继续琢磨。Gibbs Sampling用来逼近LDA中的隐式变量，是一种较为简单的实现方式。     Gibbs 方法     传统的实现方法是串行的，主要流程如下：     步骤4中，每一个word都需要对
用gibbs sampling推断LDA
09-16
用 Gibbs 采样推断 LDA Latent Dirichlet Allocation（LDA）是一种常用的主题模型，它可以从大量文档中抽取出隐含的主题。LDA 模型认为，每个文档都是多个主题的混合体，每个主题又是一个单词的概率分布。为了推断...
吉布斯采样matlab代码-matlab_gibbs_lda:matlab_gibbs_lda
05-28
吉布斯采样matlab代码matlab_gibbs_lda 具有Gibbs采样的LDA是使用MATLAB实现的。 文档主题上的Dirichlet分布的超参数采样基于Mallet，但使用纯MATLAB代码重新实现。 输入数据格式： 一个3行矩阵X的AN，对于第i行，X...
Gibbs Sampling
09-11
Gibbs采样是一种特殊的马尔科夫链蒙特卡洛（Markov Chain Monte Carlo，MCMC）技术，它广泛应用于在文本处理等领域中进行贝叶斯模型的推理。在这一过程中，Gibbs采样不需要直接对联合概率分布进行采样，而是通过条件...
LDA与Gibbs Sampling
fenss的博客
03-08 428
LDA与Gibbs Sampling 统计推断简介 待补充 B\BetaB函数与Γ\GammaΓ函数的性质 待补充 Beta\text{Beta}Beta、Dirichlet\text{Dirichlet}Dirichlet分布与二项、多项分布 待补充 LDA的概念与似然表示 LDA（Latent Dirichlet Allocation）使用概率生成模型的方式描述文档——主题——单词之间的关系，LDA原文的概率图描述如下： 原文中对每篇文章的每个单词，生成过程描述如下： Choose N∼Poiss
LDA主题模型系列（二）求解之Gibbs采样
weixin_38224810的博客
05-05 981
本系列分为三部分： LDA基本概念 LDA求解之Gibbs采样 LDA求解之变分推断EM算法 该篇为LDA求解之Gibbs采样 对于Gibbs采样不了解的可以参考这里 回顾LDA模型
【LDA】吉布斯采样
qq_45721997的博客
06-16 2158
吉布斯采样是用条件概率得到联合概率分布。 其实是得到我们想要东西的近似解 蒙特卡洛方法是为了解决一些不太好求解的求和或者积分问题。 其实就是一个近似方法，通过采样的多个样本代替原本的连续函数，帮助我们把这个式子解出来。 对于一些常见的概率分布p（x），如正态分布等，我们先通过一些公式将其转换为0-1之间的数，（均一化处理嘛，）然后进行采样。 对于不太常见的概率分布f(x)，我们用一个常见的概率分布（如高斯分布）q(x)把他蒙上，就是让 f(x)...
LDA的Gibbs抽样详细推理与理解
qy20115549的博客
12-11 5477
LDA图模型表示 LDA所要求得目标分布 联合概率分布 求解 参考文献本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 欢迎交流。LDA图模型表示LDA所要求得目标分布关于LDA的理解，可以去看《LDA数学八卦》以及Heinrich G. Parameter estimation for text analysis[J]. University of Leip
机器学习主题模型之LDA参数求解——Gibbs采样
liuy9803的博客
07-26 1万+
  LDA参数推导的Gibbs采样方法基于马尔科夫链蒙特卡洛方法，因此首先学习MCMC方法。 一、马尔科夫链蒙特卡洛方法 MCMC（Markov Chain Monte Carlo）方法是构造适合的马尔科夫链，使其平稳分布为待估参数的后验分布，抽样并使用蒙特卡洛方法进行积分计算，实现了抽样分布随模拟的进行而改变的动态模拟，弥补了传统蒙特卡洛积分只能静态模拟的缺陷。 1、蒙特卡洛方法 蒙特...
随机采样和随机模拟：吉布斯采样Gibbs Sampling
热门推荐
皮皮blog
05-12 10万+
http://blog.csdn.net/pipisorry/article/details/51373090 吉布斯采样算法详解 为什么要用吉布斯采样 什么是sampling? sampling就是以一定的概率分布，看发生什么事件。举一个例子。甲只能E：吃饭、学习、打球，时间T：上午、下午、晚上，天气W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗。...
Gibbs 采样完整解析与理解
dragon的专栏
03-30 7万+
1.gibbs简析： gibbs采样需要知道样本中一个属性在其它所有属性下的条件概率，然后利用这个条件概率来分布产生各个属性的样本值。gibbs采样属于随机模拟抽样算法中的一种（一类近似求解的方法）。随机模拟的核心是对一个分布进行抽样，常用的抽样算法包括：1. 接受-拒绝抽样；2）重要性抽样；3）MCMC（马尔科夫链蒙特卡洛方法）方法，它包括两个非常著名的采样算法（metropolis-hastin
Collapsed Gibbs Sampling for Latent Dirichlet Allocation on Spark
大表哥的博客
03-03 5230
摘要 本文针对Spark上广泛使用的潜在Dirichlet分配(LDA)模型，实现了一种折叠Gibbs抽样方法。 Spark是一款面向大规模数据处理的快速内存集群计算框架，成为大数据小镇的领域话题已经有一段时间了。 适用于迭代和交互算法。 该方法将数据集分割成P∗P个分区，使用规则将这些分区洗牌并重组成P个子数据集，避免采样冲突，其中每个P个子数据集只包含P个分区，然后逐个并行处理每个子数据集。 尽管增加了迭代次数，但该方法减少了数据通信开销，充分利用了Spark的高效迭代执行，并在我们的实验中...
LDA数学原理及优缺点
知之可否
03-09 1万+
线性判别分析（Linear Discriminant Analysis，LDA），也称线性判别法，是由Fisher于1936年提出。 基本思想和原理： 通常是指在输入变量上构造线性判别函数的方法，但是它也可以寻求一种变换，使得在某种意义下类间分离性最大，类内分离性最小或相异性最小。 原理： 将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，
gibbs sampling
03-08
### Gibbs Sampling Algorithm in Machine Learning Gibbs采样是一种用于马尔可夫链蒙特卡罗(MCMC)方法中的重要技术，广泛应用于贝叶斯统计和机器学习领域。该算法通过迭代更新变量的概率分布来近似复杂的多维概率分布。 #### 原理 在一个含有多个随机变量的联合概率模型中，直接计算条件概率可能非常困难。然而，在给定其他所有变量的情况下，某些单个变量的条件概率可以更容易地被估计出来。基于这一观察，Gibbs采样采用逐个抽取的方式逐步构建样本序列： 对于每一个维度上的参数θ_i，当已知其余n-1个维度的具体取值时，可以从对应的条件分布p(θ_i|θ_(-i))中抽取出新的样本作为下一个状态的一部分[^2]。 ```python def gibbs_sampling(num_samples, initial_values, conditionals): samples = [initial_values] for _ in range(num_samples): new_sample = list(samples[-1]) for i in range(len(new_sample)): current_conditional = conditionals[i] # Sample from conditional distribution p(theta_i | theta_{-i}) new_value = np.random.choice( possible_values, p=current_conditional(new_sample[:i] + new_sample[i+1:]) ) new_sample[i] = new_value samples.append(new_sample) return samples[1:] ``` 此过程重复多次之后，产生的样本集能够很好地代表原始复杂分布下的数据特征。 #### 实现方法 上述伪代码展示了如何实现基本形式的Gibbs采样器。实际应用中还需要考虑诸如收敛诊断、混合速度优化等问题。此外，针对特定类型的模型结构（如高斯混合模型），可能存在更高效的变体版本。 #### 应用场景 Gibbs采样的灵活性使其适用于各种不同的场合，特别是在处理具有隐含变量或缺失数据的问题上表现出色。典型的应用案例包括但不限于： - **主题建模**：LDA(Latent Dirichlet Allocation)利用Gibbs采样来进行文档集合的主题推断； - **图像修复**：通过对损坏像素周围的邻域信息进行推理填补丢失部分； - **基因表达分析**：帮助识别不同条件下生物样品之间的差异表达模式；
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值