如何确定LDA主题模型中的主题个数？

最新推荐文章于 2024-06-22 16:29:25 发布
最新推荐文章于 2024-06-22 16:29:25 发布
阅读量1w 收藏 29
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_25394043/article/details/104139715
版权

 

1 基于经验 

主观判断、不断调试、操作性强、最为常用

2 基于困惑度Perplexity

该方法需要测测试集！

3 贝叶斯统计标准方法

参考文献：Griffiths T L, Steyvers M. Finding Scientific Topics[J]. Proceedings of the National Academy of Sciences of the United States of America, 2004, 101(S1): 5228-5235.

使用Log-边际似然函数的方法，这种方法也挺常用的

4 非参数方法：Teh提出的基于狄利克雷过程的HDP法

参考文献：Teh Y, Jordan M, Beal M, et al. Hierarchical Dirichlet Processes [J]. Journal of the American Statistical Association, 2007, 101(476): 1566-1581.

 

Reference

怎么确定LDA的topic个数？

一枚小码农
关注
  • 1
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何确定LDA的topic个数
yt71656的专栏
11-24 1万+
如何科学的确定topic个数： 1.用perplexity-topic number曲线 2.计算topic之间的相似度 3.利用HDP
如何确定LDA的主题个数
weixin_30696427的博客
03-30 7816
本文参考自：https://www.zhihu.com/question/32286630 　　　LDA中topic个数的确定是一个困难的问题。 　　　当各个topic之间的相似度的最小的时候，就可以算是找到了合适的topic个数。 　　　参考一种基于密度的自适应最优LDA模型选择方法 ，简略过程如下： 选取初始K值，得到初始模型，计算各topic之间的相似度 增加或减少K的值，重新...
机器学习考试答案学生自用
最新发布
m0_66593765的博客
06-22 1283
1. 用两个硬币玩抛硬币的游戏，硬币1得到正面的概率为θ，硬币2得到正面的概率为2θ，你一共抛了五次，得到的结果是这样的（硬币1，正面）（硬币2，反面）（硬币2，反面）（硬币2，反面）（硬币2，正面），用极大似然法求参数θ。1. ⼀监狱⼈脸识别准⼊系统⽤来识别待进⼊⼈员的⾝份，此系统⼀共包括识别4种不同的⼈员：狱警，⼩偷，送餐员，其他。18. 假设有 6 个⼆维数据点：D={(2,3),(5,7),(9,6),(4,5),(6,4),(7,2)}，第⼀次切分时候，切分线为( )。
LDA确定主题数的方法
weixin_42609225的博客
01-09 3308
LDA 是一种常用的文本主题模型，可以自动从文本中发现主题。在使用 LDA 进行文本主题建模时，需要确定主题数量。有几种常用的方法可以确定 LDA 模型中主题的数量： 使用交叉验证法，即将文本分成训练集和测试集，然后使用不同的主题数量分别训练 LDA 模型，并使用测试集评估每个模型的表现。通常，当主题数量增加时，模型的表现会有所提升，但是到一定程度后会达到饱和，表现开始下降。可以选择表现最佳的主...
折肘法+困惑度确定LDA主题模型的主题数
weixin_43343486的博客
10-24 2万+
LDA主题模型主题数的确定 折肘法+困惑度确定lda模型的主题个数 背景 lda topic model需要确定从每篇文章中提取多少个关键词，最简单的就是折肘法+困惑度的方法。 补充：还是懒得说背景！以后想起来再补充！还是电脑硬盘坏过，代码忘参考谁的了！原作者发现可以联系我！立马改参考！ 理论 LDA模型中需要评估的选项一般是主题数量，而主题数量需要根据具体任务进行调整，即通过评估不同主题数模型的困惑度来选择最优的模型主题数。本课题中，通过计算困惑度perplexity来衡量主题数量： 其中，M是测试
如何确定LDA模型的最佳主题数,用python写一段代码
weixin_42603332的博客
02-16 1481
确定LDA模型的最佳主题数是一个挑战性问题，有多种方法可以尝试。其中一个流行的方法是使用一种称为Perplexity的指标，它可以度量模型生成观察数据的能力。但是，Perplexity可能并不总是最可靠的指标，因为它可能会受到模型的复杂性和其他因素的影响。 另一个流行的方法是使用一种称为coherence score的指标，它可以测量模型生成主题的质量和连贯性。一些库如Gensim就提供了计算co...
LDA Part2： topic个数的选择（Coherence+Perplexity）
weixin_44122457的博客
04-29 2405
目前比较成熟的判断一个LDA模型是否合理的标准一般有两个，一个是一致性，另一个是困惑度。困惑度perplexity表示的对于一篇文章来说，我们有多不确定它是属于某个主题的。即主题的个数越多，模型的困惑度就越低，即主题的个数越多，模型的困惑度就越低，但是注意一点，当主题数很多的时候，生成的模型往往会过拟合，所以不能单纯依靠困惑度来判断一个模型的好坏。这时候我们的另一个判断标准就有作用了——！一致性评估，衡量了主题中词语之间的相关性。
lda主题模型困惑度_LDA主题建模中主题数的确定——基于困惑度与主题一致性
weixin_31468621的博客
12-31 2万+
LDA主题建模中主题数的确定——基于困惑度与一致性前言1. 首先是导入包2. 分词3. 复杂性和一致性4. 绘制Perplexity-Coherence-Topic 折线图5. 依据困惑度和一致性评价结果进行主题建模前言最近在《比较》公众号上读到《叙事的经济学与经济学叙事》一文，这篇文章介绍到2013年诺贝尔经济学奖得主，耶鲁大学经济学罗伯特·希勒在2017年发表了一篇论文(Narrat...
LDA的参数确定和主题数确定方法
weixin_30955617的博客
08-06 3579
主题数确定：困惑度计算，画出曲线，选择拐点，避免信息丢失和主题冗余 https://blog.csdn.net/u014449866/article/details/80218054 参数调节： 方法一：　　 　　alpha 是 选择为 50/ k, 其中k是你选择的topic数，beta一般选为0.01吧，，这都是经验值，貌似效果比较好，收敛比较快一点； 转载于:https://www....
LDA主题模型
深圳湾刘能的博客
06-04 4519
LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，这个模型包含了词、主题和文档三层结构。所谓的生成模型，就是说我们人为一篇文章的每个词都是通过 “以一定概率选择了某个主题，并从这个主题中以一定的概率选择某个词语” 的这样的一个过程得到的。其中，词、主题和文档的关系就是文档到主题服从多项式分布，主题到词也服从多项式分布。 首先，我们直观地看一下 LDA 模型，比...
系统学习NLP（二十二）--主题模型LDA
工作笔记
05-20 2427
转自：https://blog.csdn.net/kisslotus/article/details/78427585原文更详细，这里删减了不少 1. 简介 在机器学习领域，LDA是两个常用模型的简称：Linear Discriminant Analysis 和 Latent Dirichlet Allocation。本文的LDA仅指代Latent Dirichlet Allocation. ...
主题模型-LDA
lichengxiang的博客
02-24 2282
一.LDA的应用方向二.朴素贝叶斯的分析三.Gamma函数四.Beta分布五.Beta分布的期望六.LDA涉及的主要问题1.共轭先验分布①.二项分布的最大似然估计②.二项分布与先验举例③.上述过程的理论解释④.先验概率和后验概率的关系⑤.伪计数⑥.共轭先验的直接推广2.Dirichlet分布①.Dirichlet分布的期望②.Dirichlet分布分析③.对称Dirichlet分布④.对称Dirichlet分布的参数分析
lda主题模型困惑度_主题模型（三）：LDA主题个数选择
热门推荐
weixin_39676021的博客
12-06 2万+
在上一篇文章的最后，我们生成了15个模型（主题数分别从1到15），然鹅，问题来了，到底多少个主题，才是最好的主题模型呢？到底有没有可以评价一个模型好坏的标准呢？答案肯定是有的，而且还不止一个呢！ 先说一个，我最开始做实验的时候用的，肉眼观察法。即通过经验来判断选择几个主题（靠猜），显然这是一个不错的方法。我当时和老大说完，老大一直夸我聪明，并打了我一顿，不说了，医院的WiFi不大好用。 目前比较...
主题建模：确定最佳主题数
danpu0978的博客
04-23 1538
在我对主题建模的持续探索中，我遇到了The Programming Historian博客，以及一篇文章，展示了如何使用Java库槌 从主题集衍生主题 。 博客上的说明使安装和运行变得非常容易，但是与我使用的其他库一样，您必须指定文集包含多少个主题。 我不确定要选择什么值，但是作者提出以下建议： 您如何知道要搜索的主题数？ 是否有自然而然的话题？ 我们发现，必须运行带有不同数量主题...
LDA主题模型困惑度计算
05-12 5400
对于LDA模型，最常用的两个评价方法困惑度（Perplexity）、相似度（Corre）。 其中困惑度可以理解为对于一篇文章d，所训练出来的模型对文档d属于哪个主题有多不确定，这个不确定成都就是困惑度。困惑度越低，说明聚类的效果越好。 计算公式 分母是测试集中所有单词之和，即测试集的总长度，不用排重。其中p(w)指的是测试集中每个单词出现的概率，计算公式...
LDA主题模型评估方法--Perplexity
MandY_joe的专栏
11-26 1万+
原文出处：http://blog.csdn.net/pirage/article/details/9368535 在LDA主题模型之后，需要对模型的好坏进行评估，以此依据，判断改进的参数或者算法的建模能力。 Blei先生在论文《Latent Dirichlet Allocation》实验中用的是Perplexity值作为评判标准。 一、Perplexity定义 源于wi
topic数量是指什么_如何确定LDA的topic个数
weixin_39781930的博客
12-20 1201
以前一直是按经验设置topic个数，数据量小就少点，数据量大就多点，大概50-500吧。最近有同学跟我讨论，才想起来该找找相关文献，学习一下如何科学的确定topic个数。1.用perplexity-topic number曲线LDA有一个自己的评价标准叫Perplexity(困惑度)，可以理解为，对于一篇文档d，我们的模型对文档d属于哪个topic有多不确定，这个不确定程度就是Perplexity...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值