【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）

已于 2023-10-20 21:35:01 修改
阅读量1.5w 收藏 156
点赞数 39
分类专栏： # 主题建模 文章标签： 自然语言处理 主题建模 BERTopic SBERT 文本挖掘
于 2023-02-10 16:05:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/be_racle/article/details/128961533
版权

本系列包含：

主题建模：BERTopic（实战篇）

BERTopic 是基于深度学习的一种主题建模方法。 2018 2018 2018 年底， D e v l i n   e

了解本专栏 订阅专栏 解锁全文 超级会员免费看
G皮T
关注
  • 39
    点赞
  • 踩
  • 156
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 91
    评论
专栏目录
订阅专栏
BERTopic：利用BERT和c-TF-IDF创建易于解释的主题
02-03
伯特比 BERTopic是一种利用主题建模技术 :hugging_face: 转换程序和c-TF-IDF创建密集的群集，使主题易于理解，同时在主题描述中保留重要字词。 它甚至支持类似于LDAvis的可视化！ 相应的媒体帖子可以在找到。 安装 可以使用完成安装： pip install bertopic 要使用可视化选项，请按照以下步骤安装BERTopic： pip install bertopic[visualization] 安装错误推荐使用PyTorch 1.4.0或更高版本。 如果安装出现错误，请首先安装pytorch。 入门 要详细了解BERTopic的功能，您可以在查看完整的文档也可以Google Colab笔记本。 快速开始 我们首先从著名的20个新闻组数据集中提取主题，该数据组由英文文档组成： from bertopic import BERTopic from sklearn . datasets import fetch_20newsgroups docs = fetch_20newsgroups ( subset = 'all' , remove
主题模型--BERTopic python解析
Andy_shenzl的博客
10-24 6983
BERTopic是基于BERT词向量进行主题建模技术，它利用 Transformer 和 c-TF-IDF 来创建密集的集群（分类），允许轻松解释主题，同时在主题描述中保留重要词。主题模型（Topic Model）是自然语言处理中的一种常用模型，是一种无监督学习方法，它用于从大量文档中自动提取主题信息。分词可以实现处理好再进行建模，也可以定义好分词的方法在建模时传入，一般建议先分词在建模，这样可以打印中间分词结果进行检查。主题模型的核心思想是，每篇文档都可以看作是多个主题的混合，而每个主题则由一组词构成。
关于句子嵌入Sentence Embeddings 你想知道的一切（也许更多）
最新发布
xuejianxinokok的专栏
04-26 1824
多么美妙的旅程啊！我们只是将句子嵌入从 0 变为 1。我们了解了它们是什么、如何计算它们、如何比较它们以及如何缩放它们。我们还看到了嵌入的一些很酷的应用，例如语义搜索和释义挖掘。我希望这篇博文能让您很好地理解什么是句子嵌入以及如何使用它们。这是该系列的第一部分。还需要学习什么？向量数据库的作用如何将嵌入用于更复杂的排名系统主题建模Multimodality 多模态如何训练自己的嵌入模型关于 RAG 的所有信息每个人都会有一个时间！现在，我建议休息一下，检查一下你的知识。
基于Bert的文本聚类工具：BERTopic
yanqianglifei的专栏
02-21 6443
【干货推荐] 基于Bert的聚类工具：BERTopic 【简介】：BERTopic是一种主题建模技术，它利用????变换器和c-TF-IDF创建聚类簇，使主题易于理解，同时在主题描述中保留重要的单词。 同时可以支持类似于LDAvis的可视化。 【快速上手】 安装pip install bertopic[visualization] from bertopic import BERTopic from s...
NLP实战学习（2）：基于Bertopic的新闻主题建模
weixin_47113960的博客
06-20 7291
• 深度语义向量 + 传统聚类方法： （1）通过Bert计算得到语句的深度语义向量 （2）通过HDBSCAN进行聚簇处理 （3）通过c-tfidf进行调整聚簇的粒度并提取主题关键词链接：
NLP实战之BERTopic主题分析
热门推荐
m0_65609016的博客
10-21 1万+
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。对于大部分小伙伴而言，知道如何去使用BERTopic模型进行主题分析就足够了。所以BERTopic原理就不做过多解释了，感兴趣的小伙伴可以自己去了解一下。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。
【重磅】NLP实战之BERTopic主题模型分析（pycharm版）
m0_65609016的博客
03-22 6273
之前写了一篇NLP实战之BERTopic主题模型分析，由于没有说明是在jupyter notebook中的运行的，所以很多小伙伴去pycharm中运行，没有结果也没有可视化的图片。这篇博客将完美解决！
BERTopic
yaohaishen的专栏
07-13 5356
BERTopic 方法的步骤如下：首先使用预训练模型计算 document embeddings (比如常用的 Sentence-BERT 等)因为 document embeddings 维度很高，在嵌入空间中就非常稀疏，不容易进行聚类，所以需要先进行降维，比如 PCA 或者 t-SNE 等方法，这里用的是 UMAP[4]基于层次和密度进行聚类，这里用的是典型的 HDBSCAN[5] 算法划重点：使用 class-based TF-IDF 变体提取每个簇的主题词因为上文所说的这个 gap 产生的原因，本质
Bertopic主题模型原理详解
weixin_52185313的博客
05-27 5771
Bertopic原理详解 – 潘登同学的NLP笔记 文章目录Bertopic原理详解 -- 潘登同学的NLP笔记Bertopic主题建模Nearest-Neighbor-Descent (构建K近邻图)算法详解理论推导算法步骤UMAP降维算法原理学习高维空间中的流形结构寻找最近的邻居UMAP的高维表示UMAP的低维表示构造Loss使得高维表示与低维表示相近总结UMAP算法TF-IDF算法TF是词频IDF是逆向文件频率TF-IDF实际上是：TF * IDFSklearn实现TF-IDF算法CountVecto
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词关键词
BigYouYou
12-01 4429
为了解决这些问题，学界提出了DTM、ETM、DETM、BERTopic等方法，其中是近年提出的热度很高的方法，它主要思路是寻找文本整体的BERT特征向量，然后对各文本特征在样本空间中做聚类，找到Topic，然后基于TF-IDF模型寻找每个Topic的关键词，最后寻找Topic在每个时间段的关键词表示。
BERT Topic推荐-AMiner
AI_Conf的博客
11-26 837
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic BERT全称是Bidire.
TopicBERT-PyTorch:Chaudhary等人的PyTorch实现。 al。 2020年的TopicBERT
04-12
TopicBERT-PyTorch PyTorch实现 入门： 如果尚未安装 ，请安装它。 然后跑 conda env create -f environment.yml 这将创建一个严格遵守指示的版本控制的Python环境。 它旨在紧密地反映Google Colab。 或者，在Google Colab中打开experiment.ipynb ： 路线图 在某些数据集上具有有效的BERT（SST-2） 于4/4/21完成，利亚姆 设置Reuters8数据集和DataLoader 正在进行中，有关Liam 4/8/21的一些工作 利亚姆（Liam）于4/9/21完成数据集和数据加载程序 BERT在Reuters8上进行独立预测完成–在Google Colab，4/10/21，Liam上达到99.3％的火车，97.2％的val精度 在某些数据集上设置NVDM主题模型 NVD
利用BERT和基于类的TF-IDF创建易于解释的主题。-Python开发
05-25
BERTopic是一种主题建模技术，它利用BERT嵌入和c-TF-IDF创建密集的群集，从而使主题易于理解，同时又在主题描述中保留了重要的单词。 BERTopic是一种主题建模技术，它利用BERT嵌入和c-TF-IDF创建密集的群集，从而使主题易于理解，同时又在主题描述中保留了重要的单词。 相应的中等职位可以在这里找到。 关于项目算法的目录2.1。 句子转换器2.2。 UMAP + HDBSCAN 2.3。 c-TF-IDF入门3.1。 安装3.2。 基本用法3.3。 概述Google合作实验室1.关于项目返回目录
all minilm l6 v2
03-08
模型资源存储
Python金融大数据风控建模实战：基于机器学习源代码.zip
02-15
本实战项目主要探讨如何运用Python进行金融大数据的风险控制建模，通过源代码实现来深入理解这一过程。 首先，我们需要了解金融风控的基本概念。风控涉及到识别、评估和管理可能导致财务损失的风险，而大数据在此...
Python金融大数据风控建模实战：基于机器学习+源代码+文档说明
11-09
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
一种基于深度学习的电磁信号建模与调制识别新方法.pdf
08-18
针对这一问题，一种新的基于深度学习的电磁信号建模与调制识别方法应运而生。 深度学习是一种模仿人脑神经网络结构的机器学习技术，特别擅长处理高维数据和模式识别任务。在本文中，研究者利用深度学习中的卷积神经...
基于深度学习的LSTM神经网络湍流控制降阶建模方法
02-08
在这项工作中，我们展示了一种基于深度学习的方法，使用规范DNS数据集的POD基础，为湍流控制应用构建ROM。 我们发现，一种主要用于语音建模和语言翻译等问题的递归神经网络——长短时记忆（LSTM），在湍流的时间动力...
【主题建模】一种基于深度学习的主题建模方法：BERTopic（理论篇）
书山有路，学海无涯。记录成长，追逐梦想
02-07 7053
在我的博客中已经写了很多关于主题建模的内容，当你准备了解 BERTopic 时，默认你已经知道了 LSA、pLSA、NFM、LDA 等传统的主题建模方法。关于主题建模的前置知识我在这里不做赘述，感兴趣的同学可以看看我前几篇博客。学习 BERTopic 需要一定的机器学习基础，让我们一起开始吧！
python金融大数据风控建模实战：基于机器学习pdf
06-28
《Python金融大数据风控建模实战：基于机器学习》是一本介绍如何使用Python进行金融大数据风险控制建模的实践指南。本书主要包括以下内容。 首先，本书详细介绍了使用Python进行金融大数据处理的基础知识。读者将了解如何使用Python进行数据清洗、特征工程以及数据可视化等操作。这些基础知识对于建立可靠的金融风险模型至关重要。 其次，本书介绍了机器学习在金融风控建模中的应用。读者将学习常用的机器学习算法，包括逻辑回归、决策树、随机森林等。同时，本书还介绍了如何使用交叉验证和网格搜索等技术来选择最佳的模型参数。 另外，本书还提供了一些实际案例，介绍了如何使用Python进行金融大数据风控建模的实战经验。这些案例包括信用评级、欺诈检测等实际应用场景，读者可以通过实际案例来学习如何将机器学习算法应用于真实的金融风控问题。 最后，本书还介绍了一些工具和库，如pandas、numpy和scikit-learn等，这些工具和库能够帮助读者更高效地使用Python进行金融大数据风控建模。 总的来说，《Python金融大数据风控建模实战：基于机器学习》是一本非常实用的书籍，对于想要学习如何使用Python进行金融大数据风控建模的读者来说，具有很高的参考价值。通过阅读本书，读者可以了解到如何使用机器学习技术来解决金融风险问题，了解如何应用Python工具和库进行数据处理和模型建立，并通过实际案例来提高实践能力。
评论 91
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值