【BERTopic应用 03/3】：微调参数

已于 2023-08-19 22:43:44 修改
阅读量7k 收藏 13
点赞数
分类专栏： 人工智能综合 神经网络和深度学习专栏 NLP到ChatGPT专题 文章标签： 人工智能 深度学习
于 2023-08-15 13:40:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gongdiwudu/article/details/132287079
版权
本文探讨了BERTopic的基本模型及其参数，如n_gram_range、umap_model和hdbscan_model。通过微调UMAP的n_neighbors、n_components和min_dist，以及HDBSCAN的min_cluster_size、min_samples和gen_min_span_tree，改善了处理大规模文本数据的效率。对比显示，微调后的模型减少了主题数量，加快了处理速度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、说明

        一般来说，BERTopic 在开箱即用的模型中工作得很好。但是，当您有数百万个数据要处理时，使用基本模型处理数据可能需要一些时间。在这篇文章中，我将向您展示如何微调BERTopic中的一些参数并比较它们的结果。让我们潜入。

了解本专栏 订阅专栏 解锁全文
自然语言处理之话题建模：BERTopic：BERTopic模型的参数调整
zhubeibei168的博客
09-22 2238
除了使用预训练的BERT模型，你还可以使用自定义的文档嵌入。这在你已经有预训练的嵌入或想要使用不同的模型时非常有用。# 使用自定义嵌入# 使用自定义嵌入创建话题模型在自然语言处理（NLP）领域中，话题建模是一种用于发现文本数据中潜在话题结构的统计建模技术。BERTopic，作为基于BERT的先进话题建模方法，其参数调整对于模型性能至关重要。embeddings: 这是BERTopic的核心参数，用于将文本转换为向量。
自然语言处理之话题建模：BERTopic教程
zhubeibei168的博客
09-21 1252
BERTopic是一种先进的话题建模技术，它结合了BERT（Bidirectional Encoder Representations from Transformers）的语义理解能力和非参数聚类算法的优势，如Hierarchical Dirichlet Process (HDP)。BERTopic通过使用BERT嵌入来捕捉文本的深层语义，然后利用聚类算法将相似的文档归类到同一话题下，从而实现对大量文本数据的话题分析。数据准备与预处理是进行任何NLP任务的基础，包括话题建模。
BERTopic模型入门教程（附代码+参数调节）
最新发布
m0_52069102的博客
03-03 2570
BERTopic 是一种用于从文本数据中提取主题模型的新型方法。通过结合 BERT嵌入和传统的主题模型来生成语义丰富的主题。传统的主题模型(如LDA)主要依赖于词频矩阵，而 BERTopic 通过预训练语言模型生成高维语义嵌入来捕捉词语间的复杂关系，因此可以更好地处理上下文信息。BERTopic模型可以看作是创建其主题表示的一系列步骤。核心原理如下：就本质而言，BERTopic就是一个拼装框架，可以把每部分都替换成其他模型，只要完成任务即可。
BERTopic
yaohaishen的专栏
07-13 6030
BERTopic 方法的步骤如下：首先使用预训练模型计算 document embeddings (比如常用的 Sentence-BERT 等)因为 document embeddings 维度很高，在嵌入空间中就非常稀疏，不容易进行聚类，所以需要先进行降维，比如 PCA 或者 t-SNE 等方法，这里用的是 UMAP[4]基于层次和密度进行聚类，这里用的是典型的 HDBSCAN[5] 算法划重点：使用 class-based TF-IDF 变体提取每个簇的主题词因为上文所说的这个 gap 产生的原因，本质
主题模型--BERTopic python解析
Andy_shenzl的博客
10-24 1万+
BERTopic是基于BERT词向量进行主题建模技术，它利用 Transformer 和 c-TF-IDF 来创建密集的集群（分类），允许轻松解释主题，同时在主题描述中保留重要词。主题模型（Topic Model）是自然语言处理中的一种常用模型，是一种无监督学习方法，它用于从大量文档中自动提取主题信息。分词可以实现处理好再进行建模，也可以定义好分词的方法在建模时传入，一般建议先分词在建模，这样可以打印中间分词结果进行检查。主题模型的核心思想是，每篇文档都可以看作是多个主题的混合，而每个主题则由一组词构成。
【重磅】NLP实战之BERTopic主题模型分析（pycharm版）
m0_65609016的博客
03-22 1万+
之前写了一篇NLP实战之BERTopic主题模型分析，由于没有说明是在jupyter notebook中的运行的，所以很多小伙伴去pycharm中运行，没有结果也没有可视化的图片。这篇博客将完美解决！
BERTopic：利用BERT和c-TF-IDF创建易于解释的主题
02-03
伯特比 BERTopic是一种利用主题建模技术 :hugging_face: 转换程序和c-TF-IDF创建密集的群集，使主题易于理解，同时在主题描述中保留重要字词。 它甚至支持类似于LDAvis的可视化！ 相应的媒体帖子可以在找到。 安装 可以使用完成安装： pip install bertopic 要使用可视化选项，请按照以下步骤安装BERTopic： pip install bertopic[visualization] 安装错误推荐使用PyTorch 1.4.0或更高版本。 如果安装出现错误，请首先安装pytorch。 入门 要详细了解BERTopic的功能，您可以在查看完整的文档也可以Google Colab笔记本。 快速开始 我们首先从著名的20个新闻组数据集中提取主题，该数据组由英文文档组成： from bertopic import BERTopic from sklearn . datasets import fetch_20newsgroups docs = fetch_20newsgroups ( subset = 'all' , remove
【 BERTopic应用 02/3】 分析卡塔尔世界杯推特数据
gongdiwudu的专栏
08-15 5997
这是我们对世界杯推特数据分析的第3部分，我们放弃了。我们将对我们的数据进行情绪分析，以了解人们对卡塔尔世界杯的感受。我将在这里介绍的一个功能强大的工具包是Hugging Face，您可以在其中找到各种模型，任务，数据集，它还为刚开始学习机器学习的人提供课程。在这篇文章中，我们将使用一个情绪分析模型和拥抱面孔令牌来完成我们的任务。
自然语言处理之话题建模：BERTopic：话题建模理论与实践
zhubeibei168的博客
09-21 889
LDA是一种基于概率的统计模型，用于从文档集合中发现隐藏的主题结构。它假设文档由多个话题组成，每个话题由一组词的概率分布定义。LDA通过迭代算法学习这些话题和词的概率分布，从而实现话题的识别和文档的分类。话题建模是一种强大的文本分析技术，它可以帮助我们理解文档集合中的主题结构。从传统的LDA和PLSA到现代的BERTopic和Doc2Vec，话题建模方法不断发展，提供了更准确和语义丰富的主题表示。通过上述代码示例，我们可以看到如何使用Python库来实现这些话题建模方法，从而在实际项目中应用它们。
使用“Unsloth”和“LoRA”微调 Llama-3.2–3B-Instruct 模型(教程含源码)
iCloudEnd的博客
10-18 681
对Llama-3.2–3B 等大型语言模型进行微调可以显著提高它们在自定义数据集上的性能，同时通过LoRA（低秩自适应）等高效方法减少计算开销。使用Unsloth（一种旨在优化和简化流程的尖端工具包），我们可以有效地对自定义数据上的 Llama-3.2–3B-Instruct 进行微调。在本教程中，我们将指导您完成该过程的每个步骤，解释核心代码和概念，同时提供有关如何在您自己的自定义数据集上执行此操作的详细说明。
BERTopic实践手记
m0_73085867的博客
01-18 3888
句向量嵌入模型下载到本地。前提：由于国内很难登上Huggingface下载数据集和模型，需要提前将用到的“”数据集和SentenceTransformer的“
NLP实战之BERTopic主题分析
热门推荐
m0_65609016的博客
10-21 3万+
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。对于大部分小伙伴而言，知道如何去使用BERTopic模型进行主题分析就足够了。所以BERTopic原理就不做过多解释了，感兴趣的小伙伴可以自己去了解一下。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。
[自然语言处理]文本主题相关(TF-IDF/LDA/Sentence-BERT)
github_35614601的博客
06-16 1906
本文简单介绍了常见主题模型的原理，并利用开源库实现了简单的demo
化学分子 降维算法umap、聚类算法hdbscan和kmeans
weixin_42357472的博客
10-27 1299
参考： https://github.com/iwatobipen/chemo_info/blob/master/chemicalspace2/HDBSCAN_Chemoinfo.ipynbhttps://www.cnblogs.com/liulunyang/p/14275612.html 代码： 这是聚类0中心的数据展示 这是聚类20中心的数据展示
【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-10 1万+
BERTopic 是基于深度学习的一种主题建模方法。2018 年底，Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。
【主题建模】一种基于深度学习的主题建模方法：BERTopic（理论篇）
书山有路，学海无涯。记录成长，追逐梦想
02-07 8559
在我的博客中已经写了很多关于主题建模的内容，当你准备了解 BERTopic 时，默认你已经知道了 LSA、pLSA、NFM、LDA 等传统的主题建模方法。关于主题建模的前置知识我在这里不做赘述，感兴趣的同学可以看看我前几篇博客。学习 BERTopic 需要一定的机器学习基础，让我们一起开始吧！
K-Means和轮廓系数
qq_38785977的博客
04-24 4187
观察上图，乍一看，数据应该能被分成4簇，但有的人觉得分成2簇（左下1簇，右上1簇），或者分成3簇（最下面1簇，中间1簇，右上1簇）也是合理的。由公式可知，S取值范围为（-1, 1），当S越接近于1，则聚类效果越好，越接近-1，聚类效果越差。计算公式如上图所示，其中，a表示样本点与同一簇中所有其他点的平均距离，即样本点与同一簇中其他点的相似度；K-means（K均值）是机器学习中一种常见的无监督算法，它能够将未知标签的数据，根据它们的特征分成不同组，每一组数据又称为“簇”，每一簇的中心点称为“质心”。
Python: sklearn库中数据预处理函数fit_transform()和transform()的区别
cicilover的专栏
08-18 1万+
原文链接 对于数据预处理中涉及到的fit_transform()函数和transform()函数之间的区别很模糊，查阅了很多资料，这里整理一下： 涉及到这两个函数的代码如下： [python]view plaincopy #从sklearn.preprocessing导入StandardScaler fromsklearn.preprocessingimp...
bertopic参数
01-30
### BERTopic 参数详解及用法 #### 构造函数中的重要参数 在构建 `BERTopic` 实例时，有几个重要的参数可以影响模型的表现： - **embedding_model**: 这个参数允许指定用于生成文档向量的预训练语言模型。默认情况下，会使用 Sentence-BERT 的多语言模型 'paraphrase-MiniLM-L6-v2' 来计算句子级别的嵌入[^3]。 ```python from bertopic import BERTopic topic_model = BERTopic(embedding_model="all-MiniLM-L6-v2") ``` - **umap_model**: UMAP (Uniform Manifold Approximation and Projection) 是一种降维技术，在此用来减少高维度数据到较低维度空间以便更好地可视化和聚类。可以通过传递自定义UMAP实例给这个参数来自定义超参设置[^1]。 ```python from umap import UMAP umap_model = UMAP(n_neighbors=15, n_components=5, min_dist=0.0) topic_model = BERTopic(umap_model=umap_model) ``` - **hdbscan_model**: HDBSCAN是一种基于密度的空间聚类应用算法，它能够发现任意形状的数据簇并能处理噪声点。同样支持传入已初始化好的HDBSCAN对象来进行更细致控制。 ```python import hdbscan cluster_model = hdbscan.HDBSCAN(min_cluster_size=10, metric='euclidean', cluster_selection_method='eom') topic_model = BERTopic(hdbscan_model=cluster_model) ``` #### 后处理阶段的关键组件 除了上述主要组成部分外，还有几个辅助性的后处理选项可以帮助改善最终输出的质量： - **vectorizer_model**: 使用 CountVectorizer 或 TfidfVectorizer 对文本进行特征抽取，默认采用的是带有停用词过滤功能的标准英文分词器。可以根据具体应用场景调整其内部参数如 max_df 和 min_df 控制词汇表大小以及去除高频低频词汇[^4]。 ```python from sklearn.feature_extraction.text import CountVectorizer vectorizer_model = CountVectorizer(stop_words="english", ngram_range=(1, 2)) topic_model = BERTopic(vectorizer_model=vectorizer_model) ``` - **top_n_words**: 定义了每篇文章中应该保留多少个最具有代表性的单词作为该文章所属主题下的关键字。较高的数值可能会引入更多噪音；而过少则可能导致丢失某些有意义的信息[^2]。 ```python topic_model = BERTopic(top_n_words=10) ``` - **nr_topics**: 可选地设定固定的主题数目而非让模型自行决定最佳值。当业务场景中有明确预期的主题范围时非常有用。 ```python topic_model = BERTopic(nr_topics=8) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无水先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值