【主题建模】基于 LDA 和 BERTopic 的 COVID-19 论文内容分析

已于 2023-10-20 21:38:00 修改
阅读量3.6k 收藏 32
点赞数 12
分类专栏： # 主题建模 文章标签： 自然语言处理 人工智能 主题建模 文本分析 BERTopic
于 2023-02-08 17:15:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/be_racle/article/details/128927164
版权
本文利用 LDA 和 BERTopic 分析 COVID-19 论文，从社科角度揭示研究主题。通过对 CORD-19 数据集的筛选和主题建模，发现疫苗、预防措施、牙科护理、经济影响、心理健康等热门话题，以及各国研究的差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于 LDA 和 BERTopic 的 COVID-19 论文内容分析

关于 COVID-19 的研究不胜枚举，截至 2022 年初，已发表了超过 800000 800000 800000 篇与 COVID-19 相关的论文。对这些论文进行梳理是一项非常具有挑战性的任务，但这可以帮助我们确定哪些领域可以更多的从研究或研究基金中受益。在本文中，我将评估这些 COVID-19 研究论文的主题，尝试揭示这些统计数据和趋势。

数据集来自 The COVID-19 Open Research Dataset (CORD-19)，该数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LSA、pLSA、LDA、NMF、BERTopic、Top2Vec进行主题建模
Mr数据杨
01-04 4991
在自然语言处理（NLP）中，主题建模是一种技术，用于从文本数据中发现隐藏的语义主题（或主题）。这是一个无监督机器学习问题，即在没有标签或标签的情况下学习模式。主题建模的应用非常广泛，可用于搜索引擎、情感分析、新闻聚类和摘要生成等许多任务。在这里将探讨主题建模的不同方法，包括传统的统计方法和最新的基于深度学习的方法。我们还将介绍每种方法的优点和缺点，并提供端到端的 Python 示例。
BERTopic与LLM知识图谱系列之 主题建模：LDA、NMF、BERTopic 和 Top2Vec 之间的比较
iCloudEnd的博客
06-17 674
这项研究对各种主题建模算法的性能产生了一些有价值的见解。通过依靠人类和领域知识专业知识来评估模型，研究得出结论，BERTopic 和 NMF 是此数据集的最佳表现者，其次是 Top2Vec 和 LDA。虽然 BERTopic 和 NMF 都能够识别不同的主题，但 BERTopic 还具有发现特定术语周围相关主题的额外优势，从而提供对数据的更深入洞察。总体而言，BERTopic 在主题建模领域的所有方面都表现出色，甚至可以进一步减少主题。
主题模型(Topic Model)---LDA(Latent Dirichlet Allocation)理论+实战
weixin_44607838的博客
02-21 7856
主题模型 顾名思义，主题模型用来探寻文本背后所隐藏的主题，也可以理解为一种段落语义的挖掘。相比于TF-IDF只能从个体词汇层面给予我们文本内容的提示，主题模型能够从更宏观的角度帮助我们快速捕捉文本的核心语义。 LDA建模思路 LDA是一种比较流行的主题模型，由吴恩达等人在2003年首次提出。它可以将文档集中每篇文章的主题以概率分布的形式给出，比如，我们可以从结果找选出概率最大的5个主题作为该文档的主题描述。下面我们来快速理解一下LDA的基本建模思路。（因为LDA背后涉及大量的数学知识，如果大家想对数学细节做
【论文阅读】BERTopic：采用一个基于类的TF-IDF流程进行神经网络的主题建模
GW_Krystal的博客
10-16 4191
主题模型对于在文档的集合中发现潜在的主题非常有用。近期的研究已经展示了主题建模方法作为一个聚类任务的可行性。 本文展示了BERTopic，它是一个话题模型，它通过对一个基于类的TF-IDF的变体的开发，抽取一致的话题表示。 具体来说，BERTopic采用预训练的基于transformer的语言模型来产生文档的嵌入，对这些文档嵌入进行聚类，并最后利用基于类的TF-IDF过程来**产生话题的表示**。 BERTopic 产生一致的话题，并且在有关的经典模型，以及最近的聚类方法的多种多样的基准中，
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词关键词
BigYouYou
12-01 5648
为了解决这些问题，学界提出了DTM、ETM、DETM、BERTopic等方法，其中是近年提出的热度很高的方法，它主要思路是寻找文本整体的BERT特征向量，然后对各文本特征在样本空间中做聚类，找到Topic，然后基于TF-IDF模型寻找每个Topic的关键词，最后寻找Topic在每个时间段的关键词表示。
[论文挑读]使用 BERTopic 改进 Twitter 中的阿拉伯语认知扭曲分类
qq_51407242的博客
03-14 879
文章旨在改善阿拉伯语推特中认知失调的分类，通过结合BERTopic主题建模技术和文本表示方法，提出了一种新的方法。该方法利用上下文主题嵌入丰富文本表示，以应对短文本数据的挑战，提高分类准确性。研究表明，利用BERTopic生成的主题信息可以有效改善认知失调分类任务的性能。
BERTopic：利用BERT和c-TF-IDF创建易于解释的主题
02-03
伯特比 BERTopic是一种利用主题建模技术 :hugging_face: 转换程序和c-TF-IDF创建密集的群集，使主题易于理解，同时在主题描述中保留重要字词。 它甚至支持类似于LDAvis的可视化！ 相应的媒体帖子可以在找到。 安装 可以使用完成安装： pip install bertopic 要使用可视化选项，请按照以下步骤安装BERTopic： pip install bertopic[visualization] 安装错误推荐使用PyTorch 1.4.0或更高版本。 如果安装出现错误，请首先安装pytorch。 入门 要详细了解BERTopic的功能，您可以在查看完整的文档也可以Google Colab笔记本。 快速开始 我们首先从著名的20个新闻组数据集中提取主题，该数据组由英文文档组成： from bertopic import BERTopic from sklearn . datasets import fetch_20newsgroups docs = fetch_20newsgroups ( subset = 'all' , remove
基于BERTopic模型的中文文本主题聚类及可视化
Cachel Wood的博客
03-02 3383
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。通过结合BERT的语义表示和传统主题建模技术，BERTopic为主题分析任务提供了一个高效而精确的解决方案。
BERTopic：NLP主题模型的未来！
夕小瑶科技说
07-08 8988
文| ZenMoore编| 小轶以前我一直以为，主题建模(提取文档的主题词)这种机器学习时代就开始研究的基础工具，现在肯定已经到头了，虽然...有时效果可能不是那么让人满意。但突然看到一则推文：“彻底疯了！不需要预先清洗数据，就能够快速拿到质量难以置信的主题！” “NLP 主题模型的未来！”好家伙！让人又爱又恨又离不开的主题模型，终于要升华了吗？！！看了论文之后，恍然大悟...
NLP实战之BERTopic主题分析
热门推荐
m0_65609016的博客
10-21 3万+
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。对于大部分小伙伴而言，知道如何去使用BERTopic模型进行主题分析就足够了。所以BERTopic原理就不做过多解释了，感兴趣的小伙伴可以自己去了解一下。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。
[自然语言处理]文本主题相关(TF-IDF/LDA/Sentence-BERT)
github_35614601的博客
06-16 1906
本文简单介绍了常见主题模型的原理，并利用开源库实现了简单的demo
自然语言处理之话题建模：BERTopic模型详解
zhubeibei168的博客
09-21 3334
BERTopic是一种基于BERT的先进话题建模技术，它结合了BERT的语义理解能力和非参数聚类算法HDBSCAN的灵活性，能够生成高质量、语义丰富的话题。与传统的LDA（Latent Dirichlet Allocation）话题模型相比，BERTopic能够更好地捕捉文本的复杂语义结构，因为它利用了预训练的BERT模型来嵌入文本，从而在话题建模中引入了深度学习的力量。聚类是无监督学习的一种，其目标是将数据集中的样本按照相似性进行分组，每个组称为一个“簇”。
【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-10 1万+
BERTopic 是基于深度学习的一种主题建模方法。2018 年底，Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。
BERTopic实践手记
m0_73085867的博客
01-18 3889
句向量嵌入模型下载到本地。前提：由于国内很难登上Huggingface下载数据集和模型，需要提前将用到的“”数据集和SentenceTransformer的“
基于LDA和TextRank相结合的中文多文档自动摘要提取学习总结
personal_CSDN_的博客
07-03 2570
目录1 结合 LDA 和 TextRank 的自动摘要抽取方法1.1 基于 LDA 和 Text Rank 相结合的摘要抽取算法1.2 摘要抽取算法设计流程1.3 结合 LDA 和 Text Rank 算法的摘要抽取1.3.1 改进的 TextRank 算法1.3.2 结合句子的其他特征1.4 本章小结2 摘要句的处理2.1 句子的排序2.1.1 摘要排序步骤2.2 冗余处理2.3 本章小结3 总结4 发展 1 结合 LDA 和 TextRank 的自动摘要抽取方法 LDA 主题模型可以通过潜在的主题关系将
自然语言处理之话题建模：BERTopic：BERT模型原理与应用
zhubeibei168的博客
09-22 1665
词嵌入是将词汇映射到多维向量空间的技术，这些向量能够捕捉词与词之间的语义和语法关系。词嵌入模型如Word2Vec、GloVe和FastText，以及基于深度学习的模型如BERT，都极大地推动了NLP的发展。话题建模是一种统计建模方法，用于发现文档集合或语料库中抽象的话题。它基于一个假设：文档是由多个话题组成的，而每个话题由一系列经常一起出现的词语构成。话题建模的目标是识别出这些潜在的话题，并理解它们在文档中的分布情况。
主题模型（Topic Model）与LDA算法
韩明宇
04-19 1万+
Topic Model 主题模型（Topic Model）是以非监督学习的方式对文档的隐含语义结构(latent semantic structure)进行聚类(clustering)的统计模型。 主题模型认为在词(word)与文档(document)之间没有直接的联系，它们应当还有一个维度将它们串联起来，主题模型将这个维度称为主题(topic)。每个文档都应该对应着一个或多个的主题，而...
安装bertopic库入的坑们
小猴子跳跳的博客
02-25 4109
今天掉进坑里好多次，得记录下来，以便别人和自己再次犯类似的错误。 最近发现了python的bertopic这个库，通过学习了解到它很适合短文本的处理，我正好要处理评论性的文本，所以想着好好学习下。看了库的说明也觉得很简单，短短几行代码就能解决问题，然而，事实并不如此，可能和我这个python小白有关，本来python基础就不好，所以遇到了很多意想不到的问题。 一、安装bertopic时总是提示Could not build wheels for hdbscan which use PEP 517 and c
文本摘要(text summarization)四: 主题模型（LDA、LSI、NMF，topic-base）
大漠帝国的博客
11-08 5810
一、文本摘要（主题模型) 百度百科这样介绍主题模型，主题模型（topic model）是以非监督学习的方式对文集的隐含语义结构（latent semantic structure）进行聚类（clustering）的统计模型。 简而言之，就是能够获取文本的隐含语义，例如腾讯和NBA，纯粹从统计学意义上，似乎风马牛不相及，但是最近的热点事件，无疑表明它们是存在隐藏意...
bertopic
最新发布
03-09
### BERTopic 使用指南 #### 安装 BERTopic 库 为了使用 BERTopic 进行主题建模，首先需要安装该库。可以通过 pip 命令轻松完成这一操作。 ```bash pip install bertopic ``` 此命令会下载并安装最新版本的 BERTopic 及其依赖项[^1]。 #### 初始化与基本设置 一旦安装完毕，可以在 Python 脚本中导入 `BERTopic` 类来进行初始化： ```python from bertopic import BERTopic topic_model = BERTopic() ``` 这段代码创建了一个默认配置下的 BERTopic 实例，适用于大多数场景。对于更复杂的需求，则可以调整多个参数以优化性能和效果[^3]。 #### 参数配置选项 一些重要的可调参数包括但不限于： - **embedding_model**: 自定义词向量模型，默认采用 Sentence-BERT。 - **umap_model**: UMAP 维度约减算法实例，用于降维处理文档嵌入表示。 - **hdbscan_model**: HDBSCAN 聚类器对象，负责基于距离矩阵执行聚类分析。 - **vectorizer**: 文档预处理器，通常指 TF-IDF 或 CountVectorizer 的变种形式。 这些组件的选择直接影响最终的主题提取质量以及计算效率，在具体应用场景下应当仔细权衡利弊后作出适当选择[^2]。 #### 案例教程：从文本数据集中发现隐藏模式 下面给出一个完整的例子展示如何运用 BERTopic 对一组新闻报道进行分类整理，并可视化所得结果。 假设已经准备好了一份名为 `news_articles.csv` 的 CSV 文件，其中包含两列——标题 (`title`) 和正文 (`content`)。 ```python import pandas as pd from sklearn.feature_extraction.text import CountVectorizer from umap import UMAP from hdbscan import HDBSCAN from sentence_transformers import SentenceTransformer from bertopic import BERTopic # 加载数据集 df = pd.read_csv('news_articles.csv') # 配置自定义参数 sentence_model = SentenceTransformer("all-MiniLM-L6-v2") umap_model = UMAP(n_neighbors=15, n_components=5, metric='cosine') hdbscan_model = HDBSCAN(min_cluster_size=10, gen_min_span_tree=True) count_vectorizer = CountVectorizer(stop_words="english") # 创建带有特定参数设定的话题模型 topic_model = BERTopic( embedding_model=sentence_model, umap_model=umap_model, hdbscan_model=hdbscan_model, vectorizer_model=count_vectorizer) # 训练模型并获取话题分配情况 topics, probs = topic_model.fit_transform(df['content']) # 输出前五个最常出现的话题及其代表关键词 for i in range(5): print(f"Topic {i}: ", end="") print(topic_model.get_topic(i)) # 将话题分布映射回原始 DataFrame 表格结构以便后续探索性数据分析 df["topic"] = topics print("\nSample of articles with their assigned topics:") print(df[['title', 'topic']].head()) ``` 上述脚本演示了整个工作流程，从加载外部文件直至呈现初步的结果摘要。值得注意的是，这里选择了不同的超参数组合来适应当前的数据特征；实践中应根据实际情况灵活调整各项设置以获得最佳表现。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值