TopMost：一站式主题建模工具包

TopMost：一站式主题建模工具包

TopMost Towards the TopMost: A Topic Modeling System Toolkit 项目地址: https://gitcode.com/gh_mirrors/to/TopMost

项目介绍

TopMost 是一个全面的开源主题建模工具包，旨在为用户提供从数据集、预处理、模型训练到评估的完整生命周期支持。无论您是从事基础主题建模、动态主题建模、层次主题建模还是跨语言主题建模，TopMost 都能满足您的需求。该项目不仅涵盖了多种流行的主题建模场景，还提供了丰富的模型、评估指标和数据集，帮助用户轻松实现高效的主题建模任务。

项目技术分析

TopMost 的技术架构设计精良，支持多种主题建模场景，包括：

• 基础主题建模：涵盖了 LDA、NMF、ProdLDA、DecTM 等多种经典和现代主题模型。
• 层次主题建模：支持 HDP、SawETM、HyperMiner 等模型，适用于需要多层次主题结构的应用场景。
• 动态主题建模：提供了 DTM、DETM、CFDTM 等模型，能够捕捉主题随时间变化的趋势。
• 跨语言主题建模：支持 NMTM、InfoCTM 等模型，适用于多语言文本的主题建模任务。

每个场景都配备了相应的评估指标，如主题一致性（TC）、主题多样性（TD）、聚类和分类等，确保模型的性能得到全面评估。

项目及技术应用场景

TopMost 的应用场景广泛，适用于以下领域：

• 文本挖掘：在新闻、社交媒体、学术论文等文本数据中提取主题，帮助用户快速理解文本内容。
• 信息检索：通过主题模型优化搜索结果，提高信息检索的准确性和效率。
• 推荐系统：利用主题模型分析用户兴趣，提供个性化的内容推荐。
• 情感分析：结合主题模型和情感分析技术，深入挖掘文本中的情感倾向。

项目特点

• 全面性：TopMost 提供了从数据预处理到模型训练和评估的完整解决方案，覆盖了多种主题建模场景。
• 易用性：通过简单的 API 调用，用户可以轻松上手，快速实现主题建模任务。
• 高性能：支持 GPU 加速，能够处理大规模数据集，提高模型训练效率。
• 社区支持：项目开源，拥有活跃的社区和丰富的文档资源，用户可以轻松获取帮助和贡献代码。

快速开始

安装 TopMost

pip install topmost

使用示例

以下是一个简单的示例，展示如何使用 TopMost 进行主题建模：

import topmost
from topmost.data import RawDataset
from topmost.preprocessing import Preprocessing
from sklearn.datasets import fetch_20newsgroups

docs = fetch_20newsgroups(subset='all',  remove=('headers', 'footers', 'quotes'))['data']
preprocessing = Preprocessing(vocab_size=10000, stopwords='English')

device = 'cuda' # 或 'cpu'
dataset = RawDataset(docs, preprocessing, device=device)

trainer = topmost.trainers.FASTopicTrainer(dataset, verbose=True)
top_words, doc_topic_dist = trainer.train()

new_docs = [
    "这是一个关于太空的文档，包含太空、卫星、发射、轨道等词汇。",
    "这是一个关于微软Windows的文档，包含windows、文件、dos等词汇。"
]

new_theta = trainer.test(new_docs)
print(new_theta.argmax(1))

总结

TopMost 是一个功能强大且易于使用的主题建模工具包，适用于各种文本分析任务。无论您是研究人员、数据科学家还是开发者，TopMost 都能为您提供高效、灵活的主题建模解决方案。立即尝试 TopMost，开启您的主题建模之旅！

TopMost Towards the TopMost: A Topic Modeling System Toolkit 项目地址: https://gitcode.com/gh_mirrors/to/TopMost