Bertopic环境安装与文本主题聚类教程

最新推荐文章于 2024-07-15 17:08:02 发布
最新推荐文章于 2024-07-15 17:08:02 发布
阅读量633 收藏 17
点赞数 14
文章标签： 聚类 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44951759/article/details/140428302
版权

文章目录

1.环境配置

（一）安装：anaconda

1. 理解：为什么需要anaconda

不同的python版本适应与相应的依赖包，可以用ANACONDA来管理不同的python版本环境，需要用到哪个环境就调用哪个环境。

本人最常用的就是一个Py3.6的包，这个包很多的版本的库都兼容，但是由于新的出来，一些最新的库已经开始不适配3.6

此前有次，自己的原生代码，在生成WordCloud词云时，从来都不会报错，会出现一个字体的错误。一直没解决，用了很多方法都没解决，后面发现是不适配3.6版本。所以在anaconda中可以再生成一个更高版本的环境。

可以专门用一个python版本，解决相应的问题。

2. 下载anaconda

anaconda下载地址

下载好，双击安装，一直下一步
在这里插入图片描述

3. 启动anaconda

在开始菜单，找到anaconda powershell prompt，输入conda，有输出即可

这样我们就有了管理python版本、依赖包版本的工具

（二）安装：python环境

  1. 安装python 3.10.6

conda create -n test python=3.10.6
其中-n 后面的test代表新的环境的名字，可以自己定义

这里一般都不会出现什么问题，都可以正常创建新的环境。
2. 激活环境

创建之后，我们还是在原本的基础环境上，需要跳到新的环境中去配置新的环境的依赖包

conda activate test

然后输入python，发现python3.10.6安装好了
在这里插入图片描述

（三）安装：依赖包

环境已经构建好，接下来就是安装相应的依赖包

  1. 第一步：先安装hdbscan ⚠️
hdbscan的安装问题

因为BERTopic依赖HDBSCAN这个包

但当前版本，使用pip安装HDBSCAN这个包，会报错

在这里插入图片描述

下面是两个相关讨论，里面有解决方案

https://www.google.com.hk/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwjdmK6IqqKFAxX3TGcHHfgmDQoQFnoECA8QAQ&url=https%3A%2F%2Fgithub.com%2FMaartenGr%2FBERTopic%2Fissues%2F816&usg=AOvVaw3F5j2NSu0dkw5xUZP2WMNc&opi=89978449

https://github.com/MaartenGr/BERTopic/issues/1656

解决方案
1. 安装build-tools-for-visual-studio

注意，这个解决方案中说，需要先安装build-tools-for-visual-studio，但是在我的电脑（win10虚拟机）上实测是不需要先安装这个的，大家可以先跳过这个步骤，直接安装hdbscan，如果安装不上去，再拐回来下载build-tools-for-visual-studio，安装并重启电脑，重新打开prompt窗口，然后继续执行后面的步骤

下载地址

https://visualstudio.microsoft.com/downloads/#build-tools-for-visual-studio-2022

在这里插入图片描述

2. 安装hdbscan

先通过conda安装hdbscan

conda install -c conda-forge hdbscan

这里输入y，包括python在内的一些包会被更新，但是没关系，仍然具备兼容性

在这里插入图片描述

接下来就能使用pip进行安装了

本人在安装过程中，发现就是安装不上去，网络一直卡着不动，可以试试配置一下conda的源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

conda config --set show_channel_urls yes

# 查看配置信息：mac上channels只有defaults，没有其他的
conda config --show

网上查找了很多源，从本地或者命令行中添加或者修改源，均未能下载和安装上hdbscan
后来，一气之下，将所有的源都删除，将源恢复成默认源后，开始下载和安装。

如果不行的话，可以试试以下 的命令行：

pip install hdbscan
conda install hdbscan
pip install --upgrade git+https://github.com/scikit-learn-contrib/hdbscan.git#egg=hdbscan

其中，可以在pip安装的时候，先更换第二步中的pip源。

（四）安装transformers、BERTopic等重要依赖包

  1. 设置pip换源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

https://mirrors.tuna.tsinghua.edu.cn/help/pypi/

  1. 安装依赖

pip install torch==2.0.1 transformers==4.29.1 tqdm==4.65.0 numpy==1.23.2 jieba==0.42.1 bertopic==0.15.0

2.BERT预训练模型下载

(一)模型原理

我们是数据集可能是一条条的文本数据，每一条文本代表一条数据。但是我们的计算机并不能很好的识别和认识我们的语言，计算机只认识计算机语言，就是数字。

所以需要将文本转成数字，其中很很多方法可以实现，比如TFIDF，one-hot，word2vec等等。这些都是不同的向量转化方法

BERT预训练模型，就是将自己的文本转化为相应的向量。
在这里插入图片描述

(二)预训练模型获取

注意在执行到下面这行代码的时候，需要下载模型，在网上下载模型，此时需要梯子
在这里插入图片描述
代码如下
embedding_model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

如果实在没有梯子，也可以使用huggingface镜像，参考如下文章

国内快速下载huggingface（镜像）上的模型和数据 - 知乎

下面是官方教程

HF-Mirror - Huggingface 镜像站

具体操作：

  1. 打开Anaconda powershell prompt

注意！！！！！！！！！！！！是Anaconda powershell prompt，不是Anaconda prompt，本人在操作的时候，就犯了这个错误，导致在设置环境变量的时候一直报错，再尝试多次后，才发现应该用Anaconda powershell prompt

  1. 激活环境

conda activate test

  1. 安装依赖

pip install -U huggingface_hub

  1. 设置环境变量，即使用huggingface镜像站

Linux平台，在命令行执行

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell，在命令行执行，注意这里必须使用powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

注意这个是在当前powershell会话中临时设置环境变量，所以如果关闭powershell而后重新打开，则需要重新运行该命令设置环境变量

  1. 下载模型

huggingface-cli download --resume-download 模型名

具体代码如下：

huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

如果下载不下来，可以尝试用梯子后，再执行该命令行。

模型名需要去huggingface镜像站进行查询，以获取精确的模型名称

hf-mirror

注意：如果下载失败，可以重复执行上面的命令，来继续下载

3.BERT模型实战操作

本阶段主要演示了如何使用 BERTopic 库进行文本聚类,包括语义向量的生成、主题建模、以及可视化结果等步骤。可以根据实际需求对相关参数进行调整,以获得更好的聚类效果。

3.1预处理

利用上述的安装的包，初步进行文本主题聚类

导入相应的库

from bertopic import BERTopic
from sentence_transformers import SentenceTransformer
from umap import UMAP

from bertopic import BERTopic
from sentence_transformers import SentenceTransformer
from umap import UMAP

BERTopic: 用于文本聚类和主题建模。
SentenceTransformer: 用于生成语义向量。
UMAP: 用于将高维数据降维到二维以进行可视化。

3.2随机生成数据

用了一些关于天气和自然语言处理的句子作为示例数据。

# step1 加载文件
docs = [
  '今天天气很好',
  '今天天气很不错',
  '今天天气晴朗',
  '今天天气不错',
  '今天阳光明媚',
  '自然语言处理会使用到深度学习',
  '自然语言处理会使用到线性代数',
  '自然语言处理会需要掌握一定的微积分知识',
  '自然语言处理很简单',
  '自然语言处理容易掌握'
]

3.3用预训练模型生成词向量

使用了预训练的 Sentence Transformer 模型来生成文本的语义向量。
注意,这里使用了本地预训练模型的路径。如果你想从网络下载预训练模型,可以使用 SentenceTransformer(‘paraphrase-multilingual-MiniLM-L12-v2’) 的方式，需要魔法。

其中，如果按照正常下来下来的数据，会存放在本地自己电脑用户名下的缓存文件中，一般只要修改成自己电脑的对应用户名，后面的路径基本上都差不多。


# 方式1：从网络中下载
# embedding_model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 方式2：从本地加载，注意\\转义
# 路径写到包含config.json的位置
embedding_model = SentenceTransformer('C:\\Users\\Acer\\.cache\\huggingface\\hub\\models--sentence-transformers--paraphrase-multilingual-MiniLM-L12-v2\\snapshots\\bf3bf13ab40c3157080a7ab344c831b9ad18b5eb')
embedding_model

SentenceTransformer(
(0): Transformer({‘max_seq_length’: 128, ‘do_lower_case’: False}) with Transformer model: BertModel
(1): Pooling({‘word_embedding_dimension’: 384, ‘pooling_mode_cls_token’: False, ‘pooling_mode_mean_tokens’: True, ‘pooling_mode_max_tokens’: False, ‘pooling_mode_mean_sqrt_len_tokens’: False})
)

创建词向量

# 方式1：从网络中下载
# embedding_model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 方式2：从本地加载，注意\\转义
# 路径写到包含config.json的位置
embedding_model = SentenceTransformer('C:\\Users\\Acer\\.cache\\huggingface\\hub\\models--sentence-transformers--paraphrase-multilingual-MiniLM-L12-v2\\snapshots\\bf3bf13ab40c3157080a7ab344c831b9ad18b5eb')
embedding_model

SentenceTransformer(
(0): Transformer({‘max_seq_length’: 128, ‘do_lower_case’: False}) with Transformer model: BertModel
(1): Pooling({‘word_embedding_dimension’: 384, ‘pooling_mode_cls_token’: False, ‘pooling_mode_mean_tokens’: True, ‘pooling_mode_max_tokens’: False, ‘pooling_mode_mean_sqrt_len_tokens’: False})
)

训练词向量

embeddings = embedding_model.encode(docs, show_progress_bar=True)
print(type(embeddings), embeddings.shape)
print(embeddings)
# 这里生成的六个语义向量，对前面的六个句子

Batches: 100%|███████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 14.71it/s]
<class ‘numpy.ndarray’> (10, 384)
[[ 0.22831468 0.20791563 -0.01361516 … 0.08457319 -0.27376777
0.30211884]
[ 0.23415908 0.18763618 -0.00334522 … 0.0779568 -0.28823084
0.29783484]
[ 0.25473985 0.1818736 0.02977079 … 0.12291715 -0.15997924
0.20394081]
…
[-0.10149585 0.03836724 -0.2841275 … 0.23825662 -0.04146785
-0.19284795]
[-0.28807738 -0.0264765 0.18795006 … 0.4801185 0.34286192
-0.21912703]
[-0.13998343 -0.17367244 -0.0083187 … 0.338658 0.19647516

3.4文本聚类

用 BERTopic 进行文本聚类。
min_topic_size 参数控制了每个主题最小的文档数量,这是一个重要的参数,可以根据需要进行调整。

# 创建模型
topic_model = BERTopic(
  embedding_model=embedding_model,
  min_topic_size=2, # 重要参数
  verbose=True,
)

# 训练模型
topic_model.fit_transform(docs, embeddings=embeddings)

# 获取聚类结果
topic_info = topic_model.get_topic_info()
topic_info

使用 UMAP 将高维的语义向量降维到二维,以便进行可视化。topic_model.visualize_documents() 函数会生成一个交互式的可视化界面,显示文档在二维空间中的分布以及它们所属的主题。

# ⭐ UMAP可视化
reduced_embeddings = UMAP(n_neighbors=5, n_components=2, min_dist=0.0, metric='cosine',).fit_transform(embeddings)
topic_model.visualize_documents(docs, reduced_embeddings=reduced_embeddings, hide_annotations=True)

在这里插入图片描述

驭风少年君
关注
  • 14
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
基于BERTopic模型的中文文本主题聚类及可视化
Cachel Wood的博客
03-02 1446
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。通过结合BERT的语义表示和传统主题建模技术，BERTopic为主题分析任务提供了一个高效而精确的解决方案。
【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）
热门推荐
书山有路，学海无涯。记录成长，追逐梦想
02-10 1万+
BERTopic 是基于深度学习的一种主题建模方法。2018 年底，Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。
基于Bert的文本聚类工具：BERTopic
yanqianglifei的专栏
02-21 6422
【干货推荐] 基于Bert的聚类工具：BERTopic 【简介】：BERTopic是一种主题建模技术，它利用????变换器和c-TF-IDF创建聚类簇，使主题易于理解，同时在主题描述中保留重要的单词。 同时可以支持类似于LDAvis的可视化。 【快速上手】 安装pip install bertopic[visualization] from bertopic import BERTopic from s...
基于BERTopic模型的英文20新闻数据集主题聚类及可视化
Cachel Wood的博客
03-10 318
BERTopic是基于深度学习的一种主题建模方法。BERT是一种用于NLP的预训练策略，它成功地利用了句子的深层语义信息。
python 文本聚类分析案例——从若干文本中聚类出一些主题词团
01-20
python 文本聚类分析案例说明摘要1、结巴分词2、去除停用词3、生成tfidf矩阵4、K-means聚类5、获取主题词 / 主题词团 说明 实验要求：对若干条文本进行聚类分析，最终得到几个主题词团。 实验思路：将数据进行预处理...
基于豆瓣书籍信息的文本聚类与主题分析
02-16
本论文基于豆瓣网站上的书籍信息，采用文本聚类与主题分析的方法，旨在通过文本特征提取和机器学习技术，对书籍进行聚类分析，以揭示不同主题和内容的书籍之间的关联和相似性。在预处理阶段，利用中文分词工具jieba...
使用多元语义特征的评论文本主题聚类
03-17
对于无监督的文本聚类任务,文本特征的优劣直接影响聚类效果。考察三种语义特征(名词、名词短语、语义角色)对主题聚类的作用以及不同特征之间的相容关系,提出一种消除冗余特征的方法。该方法能有效地去除冗余特征,...
【项目实战】Python基于KMeans算法进行文本聚类项目实战
02-14
文本聚类是解决这一问题的有效方法，它可以自动识别和组织大量文本数据，帮助我们发现潜在的主题或模式。 2. **数据获取**： 数据是任何分析项目的基础。在这个项目中，数据可能来自各种来源，如社交媒体、新闻...
文本谱聚类算法研究
04-16
谱聚类算法是近年来国际上机器学习领域的一个新的研究热点，但其在文本聚类上的应用还较少。设计了一种文本聚类谱算法，首先...在真实文本数据集上进行了实验，与超球K均值算法相比，本文算法获得了更好的聚类结果。
Gradio聚类
qq_43431934的博客
07-08 344
将Gradio界面中的输出类型改为`gr.outputs.HTML`，并在返回结果时生成HTML格式的聚类结果。- 在`cluster_sentences`函数中，根据聚类结果生成HTML格式的字符串，包含每个类别的标题和句子列表。- 将Gradio界面的输出类型改为`gr.outputs.HTML()`，以支持HTML格式的聚类结果展示。- 在`cluster_sentences`函数中构建HTML格式的输出，以便在界面上直观显示聚类结果。
机器学习库实战：DL4J与Weka在Java中的应用
weixin_53840353的博客
07-11 645
Deeplearning4j（DL4J）是一个用于Java和JVM的开源深度学习库，它支持各种神经网络架构，包括卷积神经网络（CNN）、循环神经网络（RNN）和长短期记忆网络（LSTM）。DL4J旨在与Hadoop和Spark等大数据技术无缝集成。Weka（Waikato Environment for Knowledge Analysis）是一个用于数据挖掘任务的机器学习库，它提供了大量的算法和工具来处理数据预处理、分类、回归、聚类和关联规则挖掘等任务。
【机器学习】马尔可夫模型与隐马尔科夫模型
m0_53700832的博客
07-15 571
马尔可夫模型（Markov Model）是一种用于描述系统状态随时间变化的数学模型。通俗地说，它是一种预测未来状态的工具，假设未来状态只依赖于当前状态，而不依赖于过去的状态。这种假设被称为“马尔可夫性”或“无后效性”。马尔可夫模型是一种非常有用的工具，用于描述和预测系统状态随时间变化的情况。关键是只考虑当前状态，而不考虑历史状态。这使得模型简单且易于计算，适用于许多实际问题，如天气预测、股票市场分析、语言处理等。初始状态分布π\piπ：描述系统初始时刻各状态的概率。状态转移概率矩阵AAA。
基于Adaboost的数据分类算法matlab仿真
熟悉python,matlab,C,C++,JAVA等
07-12 504
AdaBoost的核心思想在于迭代地训练一系列弱分类器，并在每一轮中给错分样本赋予更高的权重，使得后续的弱分类器更加关注这些难分样本。最终，通过加权组合这些弱分类器的输出来做出最终决策。AdaBoost的一个重要特性是其具有很强的理论基础，保证了随着弱分类器数量T 的增加，训练误差会逐渐减小，直至达到零错误（在理论上，忽略过拟合的情况）。Freund和Schapire证明了AdaBoost在一定条件下具有最小化训练误差的性质，这一性质部分源于其损失函数的选择和权重更新的机制。
动手学深度学习—— 1.引言
Orange_sparkle的博客
07-12 374
首先介绍一些核心组件。无论什么类型的机器学习问题，都会遇到这些组件：可以用来学习的数据（data）；如何转换数据的模型（model）；一个目标函数（objective function），用来量化模型的有效性；调整模型参数以优化目标函数的算法。
陕西应用物理化学研究所考研6个学院，54个专业课历年考试真题及答案汇总整理，备考资料题库视频.pdf
最新发布
07-15
陕西应用物理化学研究所考研6个学院，54个专业课历年考试真题及答案汇总整理，备考资料题库视频.pdf
励志商务聚力领航2024新年工作计划PPT模板
07-15
【作品名称】：励志商务聚力领航2024新年工作计划PPT模板 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
309-APM hexseal密封紧固件.pdf
07-15
309-APM hexseal密封紧固件
SAE-J1939中的PGN和SPN，以及多包传输
07-15
汇总了几篇关于PGN MSB的文章，帮助小白快速理解相关知识
计算机研究 -中文文本聚类算法分析与研究.pdf
07-05
计算机研究 -中文文本聚类算法分析与研究.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

驭风少年君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值