基于BERTopic模型的英文20新闻数据集主题聚类及可视化

已于 2024-03-10 19:37:07 修改
阅读量1k 收藏 2
点赞数 1
分类专栏： 自然语言处理nlp 文章标签： 聚类 数据挖掘 机器学习 bert bertopic python 人工智能
于 2024-03-10 17:39:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46530492/article/details/136602925
版权
本文介绍了如何使用BERTopic模型对20Newsgroups数据集进行主题聚类和可视化。BERTopic是一种基于深度学习的主题建模方法，数据集包含了20个不同新闻组的文本，涵盖多个主题。在模型构建中，讨论了不同嵌入模型的选择，以及UMAP降维和聚类参数的调整。模型训练后，通过条形图、2D地图、层次聚类图和相似矩阵热力图等多种方式进行可视化，以评估和理解主题。此外，文章还提到了主题一致性得分作为模型评估指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

bertopic介绍

BERTopic 是基于深度学习的一种主题建模方法。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。

20 newsgroups dataset

fetch_20newsgroups数据集包含来自20个不同新闻组的文本数据。每个新闻组都包含多篇新闻文档，总共约有18,000篇文档。 该数据集的文本数据涵盖了多个主题，包括科技、政治、体育、娱乐等。每个文档都被分配了一个特定的标签，表示其所属的新闻组类别。 fetch_20newsgroups数据集是一个常用的用于文本分类任务和主题建模任务的基准数据集之一。

20 newsgroups数据集下载

对网络有要求，可以直接进行使用。否则也可以直接下载20news-bydate_py3.pkz文件并放在合适的scikit_learn_data文件夹位置。

在site-packages文件夹的\site-packages\sklearn\datasets\_twenty_newsgroups.py的python文

了解本专栏 订阅专栏 解锁全文 超级会员免费看
基于BERTopic模型的中文文本主题聚类及可视化
Cachel Wood的博客
03-02 3603
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。通过结合BERT的语义表示和传统主题建模技术，BERTopic为主题分析任务提供了一个高效而精确的解决方案。
Bertopic环境安装与文本主题聚类教程
当回首往事的时候，不会因虚度年华而悔恨，也不会因碌碌无为而羞愧。
07-15 1759
BERTOPIC的环境安装与建模分析
【重磅】NLP实战之BERTopic主题模型分析（pycharm版）
m0_65609016的博客
03-22 1万+
之前写了一篇NLP实战之BERTopic主题模型分析，由于没有说明是在jupyter notebook中的运行的，所以很多小伙伴去pycharm中运行，没有结果也没有可视化的图片。这篇博客将完美解决！
BERTopic主题聚类模型的认识(自用)
qq_64296768的博客
02-09 2223
本文探讨了基于BERTopic的主题建模技术及其多种实现方式。BERTopic结合了BERT嵌入和聚类算法，能够高效提取文本数据的主题。通过使用不同的嵌入模型（如SentenceTransformer、OpenAI模型）和调整降维（UMAP）及聚类（HDBSCAN）参数，可以灵活优化主题建模效果。此外，还介绍了利用TF-IDF向量进行主题建模的方法，以及如何通过自定义降维模型实现无降维的主题提取。这些方法为文本分析提供了多样化的工具，有助于深入挖掘文本数据的内在结构和主题信息。
RCV1-2 英文新闻数据数据集
07-06
RCV1-2 是一个路透社（Ruters）英文新闻文本及对应新闻类别数据，可用以进行文本分类和其它自然语言处理（NLP）任务。
用文本分析算法探索20个新闻组数据集
人邮异步社区
03-20 3430
什么是NLP 20个新闻组数据集，顾名思义，由从新闻文章抽取的文本组成。它是由Ken Lang采集的，广泛用于机器学习技术驱动的文本类应用的实验，尤其是用自然语言处理技术开发文本类应用。 自然语言处理（Natural Language Processing，NLP）是机器学习的一个重要领域，它研究机器（计算机）和人类（自然）语言之间的交互。自然语言不局限于演讲和对话，它们也可以是书面语或符号语言。NLP任务所用的数据形式多样，有社交媒体、网页、医学处方的文本、音频邮件、控制系统的命令，甚至是我们最喜欢的
【数据挖掘】二、基于BERTopic的主题建模：基于BERTopic的用户兴趣标签生成(史诗级详细教程)
weixin_45736855的博客
01-09 1845
数据准备从 CSV 文件中读取数据，并移除不必要的列。对文本数据进行清洗和预处理，包括句子分割、去除停用词、分词等。文本嵌入使用库中的预训练模型将文本数据转换为高维向量表示（嵌入）。将生成的嵌入向量保存到本地，以便后续重复使用。降维使用UMAP算法将高维嵌入向量降维至 10 维，以便进行聚类分析。聚类使用HDBSCAN算法对降维后的嵌入向量进行聚类，生成多个主题。可视化聚类结果，使用二维散点图展示不同主题的分布情况。主题分析。
【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-10 1万+
BERTopic 是基于深度学习的一种主题建模方法。2018 年底，Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。
AG数据集：新闻主题分类数据集，用于文本分类。
04-21
AG数据集：新闻主题分类数据集，用于文本分类。
News数据库
10-30
News数据库,开发事例,用于平时的学习,希望能提供给大家帮助
【深度学习数据集】新闻文本分类数据集（50000条）
10-12
50000条新闻文本数据集，文本有9类。可用于文本分类模型训练。
新闻文本分类-数据集
03-19
train_set.csv test_a.csv
ag_news文本分类数据集
07-13
AG's News Topic Classification Dataset Version 3, Updated 09/09/2015 ORIGIN AG is a collection of more than 1 million news articles. News articles have been gathered from more than 2000 news sources by ComeToMyHead in more than 1 year of activity. ComeToMyHead is an academic news search engine which has been running since July, 2004. The dataset is provided by the academic comunity for research purposes in data mining (clustering, classification, etc), information retrieval (ranking, search, etc), xml, data compression, data streaming, and any other non-commercial activity. For more information, please refer to the link http://www.di.unipi.it/~gulli/AG_corpus_of_news_articles.html . The AG's news topic classification dataset is constructed by Xiang Zhang (xiang.zhang@nyu.edu) from the dataset above. It is used as a text classification benchmark in the following paper: Xiang Zhang, Junbo Zhao, Yann LeCun. Character-level Convolutional Networks for Text Classification. Advances in Neural Information Processing Systems 28 (NIPS 2015). DESCRIPTION The AG's news topic classification dataset is constructed by choosing 4 largest classes from the original corpus. Each class contains 30,000 training samples and 1,900 testing samples. The total number of training samples is 120,000 and testing 7,600. The file classes.txt contains a list of classes corresponding to each label. The files train.csv and test.csv contain all the training samples as comma-sparated values. There are 3 columns in them, corresponding to class index (1 to 4), title and description. The title and description are escaped using double quotes ("), and any internal double quote is escaped by 2 double quotes (""). New lines are escaped by a backslash followed with an "n" character, that is "\n".
20news 新闻数据数据集
07-01
20news是一个英文新闻数据集，包含 20个 类别共 20000篇 新闻文档，可用以进行文档分类和自然语言处理等任务。
使用sklearn-LDA分析微博评论数据并进行主题聚类可视化
cutenew52188的博客
03-10 1万+
最近从微博评论中获取了部分关于俄乌局势的评论，于是尝试根据评论内容进行简单的LDA主题聚类分析。主要涉及评论数据清洗、LDA数据分析、pyLDAvis可视化、困惑度计算。
融合聚类信息的技术主题图可视化方法研究
weixin_70923796的博客
07-25 362
其中涉及技术主题图的功能模块主要包括文本数据处理模块、关系计算模块、节点布局模块、图形渲染模块、人机交互模块。技术主题图广泛应用于技术布局分析、技术竞争分析、技术结构分析等情报分析场景。技术主题图采用类似于地理信息系统中的等高线图、热力成像中的热力图、宇宙空间中的星系图、天气预报中的气象图以及彩虹图、密度图等形式。采用可视化进行科技资源的内容分析、揭示关系、发现模式、追踪技术主题是图书情报领域的常用方法之一。但对于主题之间的边界、主题与主题之间的关系、主题内部主题词的多少具有更好的揭示能力。...
NLP实战之BERTopic主题分析
热门推荐
m0_65609016的博客
10-21 3万+
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。对于大部分小伙伴而言，知道如何去使用BERTopic模型进行主题分析就足够了。所以BERTopic原理就不做过多解释了，感兴趣的小伙伴可以自己去了解一下。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。
bert 新闻标题聚类
SCPmaster的博客
07-18 883
bert训练
词语聚类可视化 bertopic
最新发布
02-16
### 使用 BERTopic 进行词语聚类可视化 为了展示如何使用 BERTopic 对词语进行聚类并实现可视化，下面是一个完整的 Python 示例教程。此过程不仅展示了如何创建主题模型，还包括了多种可视化的应用。 #### 安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cachel wood

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值