LSA、pLSA、LDA、NMF、BERTopic、Top2Vec进行主题建模

已于 2023-06-16 10:37:05 修改
阅读量4.4k 收藏 33
点赞数 2
分类专栏： Python 自然语言技术 文章标签： 自然语言处理 python 主题模型
于 2023-01-04 17:25:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20288327/article/details/128549766
版权
本文介绍了自然语言处理中的几种主题建模方法，包括LSA、pLSA、LDA、NMF，以及基于深度学习的BERTopic和Top2Vec。每种方法都有其独特优势，如LSA的快速处理，LDA的高效率，以及BERTopic和Top2Vec利用深度学习获取语义信息。文章详细阐述了这些方法的原理、实现过程和优缺点。
摘要由CSDN通过智能技术生成

在自然语言处理（NLP）中，主题建模是一种技术，用于从文本数据中发现隐藏的语义主题（或主题）。这是一个无监督机器学习问题，即在没有标签或标签的情况下学习模式。主题建模的应用非常广泛，可用于搜索引擎、情感分析、新闻聚类和摘要生成等许多任务。

在这里将探讨主题建模的不同方法，包括传统的统计方法和最新的基于深度学习的方法。我们还将介绍每种方法的优点和缺点，并提供端到端的 Python 示例。
在这里插入图片描述

文章目录

主题模型比较

先上比较的结论，然后一个一个的分析。

Metric LDA NMF BERTopic Top2Vec
主题的数量 ❌必须事先知道主题的数量 ❌必须事先知道主题的数量 ✔️自动查找主题数 ✔️自动查找主题数
数据准备 ❌预处理至关重要 ❌预处理至关重要 ✔️大多数情况下不需要预处理 ✔️大多数情况下不需要预处理
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Mr数据杨
关注
专栏目录
订阅专栏
【主题建模】不同策略的主题建模方法比较
书山有路，学海无涯。记录成长，追逐梦想
05-28 2029
在自然语言处理（NLP）中，主题建模一词包含了一系列的统计和深度学习技术，用于寻找文档集中的隐藏语义结构。主题建模是一个无监督的机器学习问题。无监督的意思是，算法在没有标签的情况下学习模式。我们作为人类产生和交换的大部分信息都具有文本性质。文件、对话、电话、信息、电子邮件、笔记、社交媒体帖子。在缺乏（或有限的）先验知识的情况下，从这些来源中自动提取价值的能力是数据科学中一个永恒的、无处不在的问题。在这篇文章中，我们将讨论热门的主题建模方法，从传统的算法到最新的基于深度学习的技术。
Top2Vec主题建模语义搜索算法.zip
03-31
Topic2Vector是用于主题建模和语义搜索的算法。它自动检测文本中存在的主题，并生成联合嵌入的主题，文档和单词向量。op2Vec - Generate topic, document and word embeddings.' by Dimo Angelov 安装Top2Vec的简单方法是：pip install top2vec 用法 从 top2vec 导入 Top2Vec 型号= Top2Vec（文档） 参数： documents：输入语料库，应为字符串列表。 speed：此参数将确定模型训练的速度。“快速学习”选项是最快的，将生成最低质量的向量。“学习”选项将学习更好的质量向量，但需要花费更长的时间进行训练。“深度学习”选项将学习最佳质量的向量，但将花费大量时间进行训练。 workers：用于训练模型的工作线程数量。较大的数量将导致更快的培训。 经过训练的模型可以保存和加载。 model.save（“ filename ”） 型号= Top2Vec.load（“ filename ”）
探索Top2Vec：新一代的语义表示与挖掘工具
gitblog_00073的博客
03-22 515
探索Top2Vec：新一代的语义表示与挖掘工具 Top2VecTop2Vec learns jointly embedded topic, document and word vectors.项目地址:https://gitcode.com/gh_mirrors/to/Top2Vec 引言 在自然语言处理领域，高效且精准的向量表示模型是实现智能分析和理解的关键。而就是这样一款强大的工具，它结合了...
Top2Vec 开源项目教程
最新发布
gitblog_00974的博客
08-21 233
Top2Vec 开源项目教程 Top2VecTop2Vec learns jointly embedded topic, document and word vectors.项目地址:https://gitcode.com/gh_mirrors/to/Top2Vec 项目介绍 Top2Vec 是一个用于主题建模和语义搜索的开源项目。它能够自动检测文本数据中的主题数量，并将文档和词嵌入到这些主题空...
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词关键词
BigYouYou
12-01 4703
为了解决这些问题，学界提出了DTM、ETM、DETM、BERTopic等方法，其中是近年提出的热度很高的方法，它主要思路是寻找文本整体的BERT特征向量，然后对各文本特征在样本空间中做聚类，找到Topic，然后基于TF-IDF模型寻找每个Topic的关键词，最后寻找Topic在每个时间段的关键词表示。
【主题建模】基于 LDA 和 BERTopic 的 COVID-19 论文内容分析
书山有路，学海无涯。记录成长，追逐梦想
02-08 3062
关于 COVID-19 的研究不胜枚举，截至 2022 年初，已发表了超过 800000 篇与 COVID-19 相关的论文。对这些论文进行梳理是一项非常具有挑战性的任务，但这可以帮助我们确定哪些领域可以更多的从研究或研究基金中受益。在本文中，我将评估这些 COVID-19 研究论文的主题，尝试揭示这些统计数据和趋势。
【主题建模】一种用于主题建模和语义搜索的算法：Top2Vec
书山有路，学海无涯。记录成长，追逐梦想
02-20 1813
Top2Vec 是一种用于主题建模和语义搜索的算法。它自动检测文本中出现的主题，并生成联合嵌入的主题、文档和词向量。
BERTopic：NLP主题模型的未来！
夕小瑶科技说
07-08 8126
文| ZenMoore编| 小轶以前我一直以为，主题建模(提取文档的主题词)这种机器学习时代就开始研究的基础工具，现在肯定已经到头了，虽然...有时效果可能不是那么让人满意。但突然看到一则推文：“彻底疯了！不需要预先清洗数据，就能够快速拿到质量难以置信的主题！” “NLP 主题模型的未来！”好家伙！让人又爱又恨又离不开的主题模型，终于要升华了吗？！！看了论文之后，恍然大悟...
训练 Word2Vec 模型或 LSA 模型，并在 Solr\Lucene 中实现概念搜索\语义搜索_python
06-05
该存储库包含用于在一组文档上训练 Thomas Mikolov 的 Word2Vec 模型的 Python 代码。然后可以使用同义词文件结合一些 solr 插件将这个过程的输出嵌入到 solr（或一些其他搜索引擎）中，以在搜索引擎中提供概念搜索...
word2vec中的数学原理详解
11-04
文章中还提到了“潜在蒂利克雷分配”(LDA)和“潜在语义分析”(LSA)，这两个概念通常出现在主题建模和文本挖掘领域。LDA是一种概率生成模型，它可以将文档中的词聚合成主题，每个文档由多个主题的混合物组成。而LSA则...
Top2Vec:Top2Vec学习联合嵌入的主题，文档和单词向量
03-20
更新：现在可以嵌入预训练的通用句子编码器和BERT句子转换器。阅读。 Top2Vec Top2Vec是用于主题建模和语义搜索的算法。它会自动检测文本中存在的主题，并生成联合嵌入的主题，文档和单词向量。训练Top2Vec模型后，您可以： 获取检测到的主题数。 获取主题。 获取主题大小。 获取层次结构主题。 通过关键字搜索主题。 按主题搜索文档。 通过关键字搜索文档。 查找类似的单词。 查找类似的文档。 使用公开模型 有关其工作原理的更多详细信息，请参见。 好处 自动查找主题数。 无需停用词列表。 无需词干/词形限制。 适用于短文本。 创建联合嵌入的主题，文档和单词向量。 内置搜索功能。 它是如何工作的？ 该算法所做的假设是，许多语义上相似的文档都表明了一个潜在的主题。第一步是创建文档和单词向量的联合嵌入。将文档和单词嵌入向量空间后，算法的目标是找到文档的密集簇，然后确定哪些单词将这些文档
使用 EM算法的概率潜在语义分析 (plsa) 的python实现_python_代码_下载
06-07
这是使用 EM 算法的概率潜在语义分析的 python 实现 参数 描述 数据集文件路径 数据集的文件路径 停用词文件路径 停用词的文件路径 ķ 话题数 最大迭代 EM算法的最大迭代次数 临界点 判断对数似然收敛的阈值 主题词数 每个主题的热门词数 docTopicDisFilePath 输出文档主题分布的文件路径 主题词分布 输出主题词分布的文件路径 字典文件路径 输出字典的文件路径 主题文件路径 输出每个主题的热门单词的文件路径 输入格式 在数据集文件中，每一行代表一个文档。 在停用词文件中，每一行代表一个停用词。
Top2Vec学习联合嵌入的主题，文档和单词向量。-Python开发
05-25
Top2Vec Topic2Vector是用于主题建模和语义搜索的算法。 它会自动检测文本中存在的主题，并生成联合嵌入的主题，文档和单词向量。 一旦您训练了Top2Vec模型，您就会发现Top2Vec Topic2Vector是用于主题建模和语义搜索的算法。 它会自动检测文本中存在的主题，并生成联合嵌入的主题，文档和单词向量。 训练Top2Vec模型后，您可以：获取检测到的主题数。 获取主题。 获取主题大小。 通过关键字搜索主题。 按主题搜索文档。 通过关键字搜索文档。 查找类似的单词。 查找类似的文档。 具有RESTful-Top2Vec优点的公开模型自动查找t的数量
word2vec中的数学
09-27
Word2vec是一种广泛使用的自然语言处理技术，它基于深度学习，特别是一种称为循环神经网络（Recurrent Neural Network, RNN）或者更具体地说是门控循环单元（Gated Recurrent Unit, GRU）或长短时记忆网络（Long ...
PLSA和LSA的调研
11-27
- PLSA更适合于涉及主题建模的任务，如文档分类、主题发现和推荐系统。 - **局限性与改进方向**： - 针对LSA的缺点，如忽略语法信息和语义关联，研究人员尝试结合语法模型和深度学习技术来提升性能。 - 对于PLSA...
主题模型--BERTopic python解析
Andy_shenzl的博客
10-24 8098
BERTopic是基于BERT词向量进行主题建模技术，它利用 Transformer 和 c-TF-IDF 来创建密集的集群（分类），允许轻松解释主题，同时在主题描述中保留重要词。主题模型（Topic Model）是自然语言处理中的一种常用模型，是一种无监督学习方法，它用于从大量文档中自动提取主题信息。分词可以实现处理好再进行建模，也可以定义好分词的方法在建模时传入，一般建议先分词在建模，这样可以打印中间分词结果进行检查。主题模型的核心思想是，每篇文档都可以看作是多个主题的混合，而每个主题则由一组词构成。
[自然语言处理]文本主题相关(TF-IDF/LDA/Sentence-BERT)
github_35614601的博客
06-16 1722
本文简单介绍了常见主题模型的原理，并利用开源库实现了简单的demo
BERTopic与LLM知识图谱系列之 主题建模：LDA、NMF、BERTopic 和 Top2Vec 之间的比较
iCloudEnd的博客
06-17 341
这项研究对各种主题建模算法的性能产生了一些有价值的见解。通过依靠人类和领域知识专业知识来评估模型，研究得出结论，BERTopic 和 NMF 是此数据集的最佳表现者，其次是 Top2Vec 和 LDA。虽然 BERTopic 和 NMF 都能够识别不同的主题，但 BERTopic 还具有发现特定术语周围相关主题的额外优势，从而提供对数据的更深入洞察。总体而言，BERTopic 在主题建模领域的所有方面都表现出色，甚至可以进一步减少主题。
困惑度指标选择最近K是什么意思，如何使用LSA、pLSA LDA、DMM对语料进行主题建模
06-02
困惑度指标选择最近K是指，在模型训练的过程中，将训练数据集划分为训练集和验证集，使用训练集训练模型，使用验证集计算模型在新数据上的困惑度，并选择困惑度最小的模型作为最优模型。 以下是使用LSA、pLSA、LDA和DMM对语料进行主题建模的一般步骤： 1. 准备数据：准备需要进行主题建模的文本数据。 2. 数据预处理：对文本数据进行预处理，如分词、去停用词、词干化等。 3. 构建文档-词矩阵：将预处理后的文本数据转化为文档-词矩阵，其中每行表示一个文档，每列表示一个词，矩阵中的每个元素表示该词在该文档中的出现次数或权重。 4. 构建词典：将文档-词矩阵中的每个词映射到一个唯一的整数ID，构建词典。 5. 训练模型：使用LSA、pLSA、LDA或DMM模型训练文本数据，得到主题-词分布和文档-主题分布。 6. 模型评估：使用困惑度指标对训练好的模型进行评估，选择困惑度最小的模型作为最优模型。 7. 主题分析：使用训练好的模型对新文本进行主题分析，得到每个文档的主题分布和每个主题的词分布。 以下是使用Python中的gensim库实现LSA、pLSA和LDA模型的示例代码： ```python from gensim import models from gensim.corpora.dictionary import Dictionary from gensim.models import CoherenceModel from sklearn.feature_extraction.text import CountVectorizer # 准备数据 corpus = ["文本1", "文本2", ...] # 数据预处理 vectorizer = CountVectorizer() X = vectorizer.fit_transform(corpus) vocab = vectorizer.get_feature_names() corpus = [doc.split() for doc in corpus] # 构建词典 dictionary = Dictionary(corpus) corpus_bow = [dictionary.doc2bow(doc) for doc in corpus] # LSA模型训练 num_topics = 10 lsa_model = models.LsiModel(corpus_bow, id2word=dictionary, num_topics=num_topics) coherence_lsa = CoherenceModel(model=lsa_model, texts=corpus, dictionary=dictionary, coherence='c_v').get_coherence() # pLSA模型训练 num_topics = 10 plsa_model = models.PlsiModel(corpus_bow, id2word=dictionary, num_topics=num_topics) coherence_plsa = CoherenceModel(model=plsa_model, texts=corpus, dictionary=dictionary, coherence='c_v').get_coherence() # LDA模型训练 num_topics = 10 lda_model = models.LdaModel(corpus_bow, id2word=dictionary, num_topics=num_topics) coherence_lda = CoherenceModel(model=lda_model, texts=corpus, dictionary=dictionary, coherence='c_v').get_coherence() ``` 以下是使用Python中的gensim库实现DMM模型的示例代码： ```python from gensim import corpora, models from gensim.test.utils import get_tmpfile from gensim.models.wrappers import DtmModel # 准备数据 corpus = ["文本1", "文本2", ...] docs = [[word for word in doc.split()] for doc in corpus] dictionary = corpora.Dictionary(docs) corpus = [dictionary.doc2bow(doc) for doc in docs] # 训练DMM模型 num_topics = 10 model_path = get_tmpfile("dmm_model") dmm_model = DtmModel("path_to_dtm_binary", corpus, num_topics, id2word=dictionary, initialize_lda=True, alpha=0.01, top_chain_var=0.005, rng_seed=0, model_path=model_path) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr数据杨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值