【主题建模】一种基于深度学习的主题建模方法：BERTopic（理论篇）

已于 2023-10-20 21:40:18 修改
阅读量8.7k 收藏 81
点赞数 15
分类专栏： # 主题建模 文章标签： 自然语言处理 人工智能 BERTopic 主题建模 文本分析
于 2023-02-07 17:19:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/be_racle/article/details/128910229
版权
BERTopic 是一种结合了预训练语言模型和降维技术的主题建模方法，通过嵌入、降维、聚类等步骤实现主题的发现。本文介绍了其基本原理，包括文档嵌入、降维（默认使用UMAP）、基于密度的聚类（HDBSCAN）以及词袋表示和主题表示的构建，旨在帮助读者理解如何利用 BERTopic 进行主题建模。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本系列包含：

一种基于深度学习的主题建模方法：BERTopic（理论篇）

在我的博客中已经写了很多关于 主题建模 的内容，当你准备了解 BERTopic 时，默认你已经知道了 LSA、pLSA、NFM、LDA 等传统的主题建模方法。关于主题建模的前置知识我在这里不做赘述，感兴趣的同学可以看看我前几篇博客。学习 BERTopic 需要一定的机器学习基础，让我们一起开始吧！

1.总体概述

利用 BERTopic 进行主题建模可按照以下五个步骤进行：嵌入（Embeddings）、降维（Dimensionality Reduction）、聚类

了解本专栏 订阅专栏 解锁全文 超级会员免费看
自然语言处理之话题建模：BERTopic模型详解
zhubeibei168的博客
09-21 3477
BERTopic是一种基于BERT的先进话题建模技术，它结合了BERT的语义理解能力和非参数聚类算法HDBSCAN的灵活性，能够生成高质量、语义丰富的话题。与传统的LDA（Latent Dirichlet Allocation）话题模型相比，BERTopic能够更好地捕捉文本的复杂语义结构，因为它利用了预训练的BERT模型来嵌入文本，从而在话题建模中引入了深度学习的力量。聚类是无监督学习的一种，其目标是将数据集中的样本按照相似性进行分组，每个组称为一个“簇”。
【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-10 1万+
BERTopic 是基于深度学习的一种主题建模方法。2018 年底，Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。
【每天一个知识点】主题建模（Topic Modeling）
dundunmm的博客
04-21 754
将文档映射为主题向量，用于个性化推荐或多文档摘要。主题建模作为理解和组织文本语料的关键技术，已经从传统的概率模型（如LDA）演进到融合预训练语言模型与聚类技术的新一代方法（如BERTopic、Top2Vec）。在智能问答、语义聚类、金融数据要素治理等复杂场景中，合适地引入主题建模不仅有助于提升问答系统的检索精度与响应准确性，也为系统的可解释性、安全性与知识管理提供了坚实基础。
NLP实战之BERTopic主题分析
热门推荐
m0_65609016的博客
10-21 3万+
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。对于大部分小伙伴而言，知道如何去使用BERTopic模型进行主题分析就足够了。所以BERTopic原理就不做过多解释了，感兴趣的小伙伴可以自己去了解一下。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。
NLP实战学习（2）：基于Bertopic的新闻主题建模
weixin_47113960的博客
06-20 9043
• 深度语义向量 + 传统聚类方法： （1）通过Bert计算得到语句的深度语义向量 （2）通过HDBSCAN进行聚簇处理 （3）通过c-tfidf进行调整聚簇的粒度并提取主题关键词链接：
主题模型--BERTopic python解析
Andy_shenzl的博客
10-24 1万+
BERTopic是基于BERT词向量进行主题建模技术，它利用 Transformer 和 c-TF-IDF 来创建密集的集群（分类），允许轻松解释主题，同时在主题描述中保留重要词。主题模型（Topic Model）是自然语言处理中的一种常用模型，是一种无监督学习方法，它用于从大量文档中自动提取主题信息。分词可以实现处理好再进行建模，也可以定义好分词的方法在建模时传入，一般建议先分词在建模，这样可以打印中间分词结果进行检查。主题模型的核心思想是，每篇文档都可以看作是多个主题的混合，而每个主题则由一组词构成。
Bertopic主题模型原理详解
weixin_52185313的博客
05-27 1万+
Bertopic原理详解 – 潘登同学的NLP笔记 文章目录Bertopic原理详解 -- 潘登同学的NLP笔记Bertopic主题建模Nearest-Neighbor-Descent (构建K近邻图)算法详解理论推导算法步骤UMAP降维算法原理学习高维空间中的流形结构寻找最近的邻居UMAP的高维表示UMAP的低维表示构造Loss使得高维表示与低维表示相近总结UMAP算法TF-IDF算法TF是词频IDF是逆向文件频率TF-IDF实际上是：TF * IDFSklearn实现TF-IDF算法CountVecto
BERTopic：利用BERT和c-TF-IDF创建易于解释的主题
02-03
伯特比 BERTopic是一种利用主题建模技术 :hugging_face: 转换程序和c-TF-IDF创建密集的群集，使主题易于理解，同时在主题描述中保留重要字词。 它甚至支持类似于LDAvis的可视化！ 相应的媒体帖子可以在找到。 安装 可以使用完成安装： pip install bertopic 要使用可视化选项，请按照以下步骤安装BERTopic： pip install bertopic[visualization] 安装错误推荐使用PyTorch 1.4.0或更高版本。 如果安装出现错误，请首先安装pytorch。 入门 要详细了解BERTopic的功能，您可以在查看完整的文档也可以Google Colab笔记本。 快速开始 我们首先从著名的20个新闻组数据集中提取主题，该数据组由英文文档组成： from bertopic import BERTopic from sklearn . datasets import fetch_20newsgroups docs = fetch_20newsgroups ( subset = 'all' , remove
【重磅】NLP实战之BERTopic主题模型分析（pycharm版）
m0_65609016的博客
03-22 1万+
之前写了一篇NLP实战之BERTopic主题模型分析，由于没有说明是在jupyter notebook中的运行的，所以很多小伙伴去pycharm中运行，没有结果也没有可视化的图片。这篇博客将完美解决！
自然语言处理之话题建模：BERTopic：BERTopic模型的参数调整
zhubeibei168的博客
09-22 2345
除了使用预训练的BERT模型，你还可以使用自定义的文档嵌入。这在你已经有预训练的嵌入或想要使用不同的模型时非常有用。# 使用自定义嵌入# 使用自定义嵌入创建话题模型在自然语言处理（NLP）领域中，话题建模是一种用于发现文本数据中潜在话题结构的统计建模技术。BERTopic，作为基于BERT的先进话题建模方法，其参数调整对于模型性能至关重要。embeddings: 这是BERTopic的核心参数，用于将文本转换为向量。
LDA主题建模
12-24
基于LDA的微博热点发现，需要的童鞋可以参考参考
自然语言处理之话题建模：BERTopic：话题模型评估与优化
zhubeibei168的博客
09-21 1875
BERTopic是一种基于BERT（Bidirectional Encoder Representations from Transformers）的先进话题建模技术。它结合了BERT的语义理解能力和非参数聚类算法，如HDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise），来生成高质量的话题模型。
自然语言处理之话题建模：BERTopic：词嵌入与语义表示
zhubeibei168的博客
09-23 1059
语义表示是NLP中用于捕捉文本深层含义的技术。它超越了词嵌入，能够处理短语、句子甚至文档的语义。语义表示模型如BERT、RoBERTa和BERTopic，利用深度学习技术，尤其是Transformer架构，来生成更复杂的文本表示。这些模型在大规模语料库上预训练，能够理解上下文依赖和词汇的多义性，从而提供更准确的语义表示。
第十九篇：主题建模Topic Modelling
flying_1314的博客
06-20 3022
理解文本 • 英文维基百科：600 万篇文章 • Twitter：每天 5 亿条推文 • 纽约时报：1500 万篇文章 • arXiv：100 万篇文章 • 如果我们想了解有关这些文档集的一些信息，我们可以做什么？
自然语言处理（NLP）—— 主题建模
weixin_65190179的博客
06-06 3640
Dirichlet 分布是一个连续多变量概率分布，它是对多项分布中参数的先验分布。简单来说，如果你有一个多项分布（即一个分布，其中的事件有多个可能的类别，比如掷骰子的六个面），Dirichlet 分布可以用来表示这些类别分布的不确定性。Dirichlet 分布的参数是一组正实数，这些参数本身被称为"浓度参数"。分布的结果是一组满足以下条件的值每个都在 0 和 1 之间，即。所有的总和为 1，即。这些性质使得 Dirichlet 分布非常适合表示一个文档中不同主题的比例，或。
常用主题建模方法简单对比LSA&PLSA&LDA&HDP
weixin_44762483的博客
03-26 2771
几种常用的主题建模方法 潜在语义分析(LSA/I) 概率潜在语义分析(PLSA) 潜在狄利克雷分布(LDA) 层次狄利克雷过程(HDP) LSA/I存在的主要问题 SVD计算非常耗时，尤其文本处理，词和文本数都是非常大的，对于这样的高维度矩阵做奇异值分解是非常难的; 主题个数值的选取对结果的影响非常大，很难选择合适的k值; LSI是基于矩阵分解的，得到的不是一个概率模型，缺乏统计基础，结果难以直观的解释。 几种方法间的关系 最近也是刚接触主题建模，根据在网上以及书籍和文献搜集资料，我个人作如
BERTopic
yaohaishen的专栏
07-13 6109
BERTopic 方法的步骤如下：首先使用预训练模型计算 document embeddings (比如常用的 Sentence-BERT 等)因为 document embeddings 维度很高，在嵌入空间中就非常稀疏，不容易进行聚类，所以需要先进行降维，比如 PCA 或者 t-SNE 等方法，这里用的是 UMAP[4]基于层次和密度进行聚类，这里用的是典型的 HDBSCAN[5] 算法划重点：使用 class-based TF-IDF 变体提取每个簇的主题词因为上文所说的这个 gap 产生的原因，本质
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词关键词
BigYouYou
12-01 5779
为了解决这些问题，学界提出了DTM、ETM、DETM、BERTopic等方法，其中是近年提出的热度很高的方法，它主要思路是寻找文本整体的BERT特征向量，然后对各文本特征在样本空间中做聚类，找到Topic，然后基于TF-IDF模型寻找每个Topic的关键词，最后寻找Topic在每个时间段的关键词表示。
bertopic
最新发布
05-17
### BERTopic 使用指南 BERTopic 是一种用于主题建模的先进工具，它利用 Transformer 嵌入技术提取语义特征并结合聚类算法生成高质量的主题。以下是关于其安装和使用的关键信息。 #### 安装过程 为了成功安装 BERTopic，需确保环境已配置好 Python 和必要的依赖库。可以通过 pip 工具轻松完成安装： ```bash pip install bertopic ``` 此外，还需要额外安装一些支持包以实现完整的功能集，例如 `sentence-transformers` 提供的嵌入器和支持可视化操作的 `umap-learn` 等[^2]。 #### 初始化与参数说明 当创建一个 BERTopic 实例时，可以传入多个参数来自定义行为。这些参数包括但不限于以下几项： - **embedder**: 指定文本嵌入模型，通常推荐使用 Sentence Transformers 中预训练好的模型。 - **vectorizer_model**: 文本向量化方式的选择，默认采用 TF-IDF 方法。 - **ctfidf**: 启用改进版的 TF-IDF 加权机制提升主题质量。 - **calculate_probabilities**: 是否计算文档属于各主题的概率分布。 - **update_steps**: 控制在迭代过程中更新频率。 - **verbose**: 设置为 True 可查看更详细的执行日志以便调试[^4]。 初始化示例代码如下所示： ```python from bertopic import BERTopic from sklearn.feature_extraction.text import CountVectorizer # 自定义停用词表 custom_stopwords = ["example", "another"] # 配置 vectorizer 参数 vectorizer_model = CountVectorizer(stop_words=custom_stopwords) # 创建 BERTopic 对象 topic_model = BERTopic( embedder="all-MiniLM-L6-v2", vectorizer_model=vectorizer_model, ctfidf=True, calculate_probabilities=True, verbose=True ) ``` #### 数据处理与应用案例 实际运用中，先加载待分析的数据集并对其中的文字部分做初步清理工作，比如去除噪声字符、分句等。接着调用 fit_transform 函数即可获得对应于每条记录的主题标签及其概率值列表。 下面展示了一个基于护肤品评论的情感分类场景中的具体实践步骤[^5]: ```python import pandas as pd # 导入数据文件 df = pd.read_csv('reviews_skintific_5xceramide - Copy.csv', encoding="ISO-8859-1") # 分离正负两类情感子集 df_neg = df[df['Sentiment'] == 'negative'] df_pos = df[df['Sentiment'] == 'positive'] # 获取负面评价作为输入样本集合 documents = df_neg["Review"].tolist() # 执行主题挖掘流程 topics, probs = topic_model.fit_transform(documents) ``` 通过以上介绍可以看出，无论是新手还是有经验的研究人员都能方便快捷地上手该框架来进行复杂自然语言处理任务下的主题探索活动。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值