用gensim做LDA实践之文本分类

最新推荐文章于 2024-07-06 20:28:33 发布
最新推荐文章于 2024-07-06 20:28:33 发布
阅读量2.1w 收藏 65
点赞数 11
分类专栏： 文本分类 机器学习 gensim LDA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianbwin2995/article/details/51768574
版权

之前看LDA，一直没搞懂到底作用是什么，公式推导了一大堆，dirichlet分布求了一堆倒数，却没有真正理解精髓在哪里。

最近手上遇到了一个文本分类的问题，采用普通的VSM模型的时候，运行的太慢，后来查找改进策略的时候，想起了LDA，因此把LDA重新拉回我的视线，也终于弄懂了到底是做什么的。

LDA本质是一种降维

为什么这么说，因为在我的文本分类问题中，文本共有290w个，根据词项得到的维度为90w个，这样一个巨大的矩阵【尤其是维度过多】扔到分类器里，肯定会有各种各样的问题【比如训练过慢，过拟合，等等】
因此，LDA的出现，能让VSM模型的列，由词项变成“主题”。这也就是主题模型的来历吧。

文档——主题矩阵

先看一个简单的：LSI 隐语意索引。基本方法是SVD矩阵分解
从图片中可以看到，最开始文档——词矩阵，被分解为两个矩阵的相乘，其中主题的个数【维度】要远远小于词的维度

现在我们开始分析这两个矩阵各自长啥样：
文档——主题矩阵求出来之后，是这样的
这里写图片描述
在这里，我定义了200个主题，现只截图了前25个主题。

需要说明的是，这个是第一个文档的主题分布。我们可以看到，第一个样本的第6，第7个主题明显

最低0.47元/天 解锁文章
tianbwin2995
关注
专栏目录
[Python从零到壹] 十六.文本挖掘之词云热点与LDA主题分布分析万字详解
杨秀璋的专栏
08-10 1万+
前一篇文章讲述了数据预处理、Jieba分词和文本聚类知识，这篇文章可以说是文本挖掘和自然语言处理的入门文章。本文将详细讲解文本挖掘领域的词云热点分析和LDA主题分布分析。两万字基础文章，希望对您有所帮助。欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家。
基于jieba、gensim.word2vec、LogisticRegression的搜狐新闻文本分类-附件资源
03-05
基于jieba、gensim.word2vec、LogisticRegression的搜狐新闻文本分类-附件资源
用gensim.doc2vec 建模、利用相似度做文本分类
a602232180的博客
11-20 6009
想看看doc2vec的效果怎么说，按照 基于gensim的Doc2Vec简析    上面的实验做了下，发现用随机森林做的模型，二分类的准确率50%，换sklearn的KNN，分类结果也是50￥上下。看了半天觉得过程什么的没什么错误，之后就又参考了情感分析利器——Doc2vec  ’两个意思差不多。最后利用模型，在随便调参的情况下，分类准确率95%+。效果总算令人满意。代码如下：（过程懒得精简了
深度学习实战之简单文本分类
最新发布
m0_57922605的博客
07-06 770
vocab[char] = index+1 #每个字对应一个序号对于词表，将字符存入字典里，每个字符对应有个数字，这样就将字符数字化了，而"pad"的存储分别对应着的是样本不一致时，将空缺的样本补充为0，这次实战用不到，因为我们每次都是抽取4个字符，所以样本都是相同长度的。"unk"的存储是对应着样本的字符不在词表里的一个问题，不过我们这次也用不到。这次只是先做一个了解。
使用gensim和sklearn搭建一个文本分类器（一）：流程概述
热门推荐
Multiangle's Notepad
09-04 2万+
总的来讲，一个完整的文本分类器主要由两个阶段，或者说两个部分组成：一是将文本向量化，将一个字符串转化成向量形式；二是传统的分类器，包括线性分类器，SVM, 神经网络分类器等等。之前看的THUCTC的技术栈是使用 tf-idf 来进行文本向量化，使用卡方校验(chi-square)来降低向量维度，使用liblinear(采用线性核的svm) 来进行分类。而这里所述的文本分类器，使用lsi (laten
LDA文本分类研究
06-17
基于 LDA的文本特征提取 本课题主要讲了特征提取的的方法研究及优化
用gensim训练LDA模型，进行新闻文本主题分析
06-27
本教程将详细介绍如何利用Gensim库训练LDA（Latent Dirichlet Allocation，潜在狄利克雷分配）模型，对新闻文本进行主题分析。 1. **LDA模型介绍** LDA是一种概率主题模型，它假设每个文档都由多个主题混合而成，...
LDA.zip_LDA 聚类 python_LDA+聚类 python_LDA文本聚类_onexpq_文本 聚类
09-21
总结来说，LDA文本聚类是一种有效的文本分类方法，通过Python库可以方便地实现。在实际应用中，我们可以结合LDA的语义特性与其他聚类算法，提高聚类效果。对于`LDA.py`文件，建议进一步学习和分析其中的实现细节，以...
Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现
09-18
文章主要介绍了如何使用jieba和gensim这两个库来实现简单的自然语言处理和文本相似度计算。首先，通过jieba库对中文语句进行分词，得到一个个独立的词汇单元。然后，借助于gensim库，可以构建一个词袋模型（Bag of ...
文本分类算法LDA
02-09
基于LDA文本分类的python实现版本
基于gensim的文本主题模型(LDA)分析
01-05
博客《基于gensim的文本主题模型(LDA)分析》对应文档
SVM和lda结合的文本分类
04-29
简易有效的文本分类
基于LDA主题模型文本分类
.
07-21 4357
项目场景：以微博为数据源，分析新冠疫苗舆情的主题演化和情感波动趋势，结合时事进行验证，从而得出特殊事件对于舆情的特定影响，为突发公共事件的社交媒体舆情合理引导提供建议。所以想要生成一篇文章，可以先以一定的概率选取上述某个主题，再以一定的概率选取那个主题下的某个单词，不断重复这两步就可以生成最终文章。LDA主题模型主要用于推测文档的主题分布，可以将文档集中每篇文档的主题以概率分布的形式给出根据主题进行主题。，通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。
LDA + SVM 文本分类
zhaohaibo的博客
10-06 5939
关于LDA的一些理解 对于语料库中的每篇文档，LDA定义了如下生成过程（generative process）： 对每一篇文档，从主题分布中抽取一个主题； 从上述被抽到的主题所对应的单词分布中抽取一个单词； 重复上述过程直至遍历文档中的每一个单词。 P(word∣document)=P(word∣topic)×P(topic∣document)P(word|document) = P(wor...
LDA 用于将文档中的文本分类为特定主题
weixin_48262500的博客
05-15 1373
数据集： LDA 用于将文档中的文本分类为特定主题。 它构建每个文档模型的主题和每个主题模型的单词，建模为 Dirichlet 分布。 每个文档被建模为主题的多项分布，每个主题被建模为单词的多项分布。 LDA 假设我们输入的每一块文本都将包含某种相关的单词。 因此，选择正确的数据语料库至关重要。 它还假设文档是从混合主题中产生的。 然后这些主题根据它们的概率分布生成单词。 code： from sklearn.datasets import fetch_20newsgroups news.
利用lda对文本进行分类_使用lda进行文本分类
weixin_26704853的博客
08-18 7540
利用lda对文本进行分类LDA, or Latent Dirichlet Allocation, is one of the most widely used topic modelling algorithms. It is scalable, it is computationally fast and more importantly it generates simple and comp...
推荐系统实践之中LDA代码完整版
05-28
LDA（Latent Dirichlet Allocation）是一种经典的主题模型，通常用于文本数据的建模与分析，其中每个主题由一组词语组成。推荐系统中也可以使用LDA对用户历史行为进行建模，从而更好地理解用户的兴趣偏好和行为习惯。关于LDA的详细介绍可以参考文献《Latent Dirichlet Allocation》。 LDA的代码实现有很多，下面简单介绍一下Python中gensim库实现LDA的方法，gensim是一个专门用于主题模型和自然语言处理的Python库，支持多种主题模型算法，包括LDA。 以下是LDA代码的完整版： ```python # 导入gensim库和其他必要的库 import gensim from gensim import corpora, models import numpy as np # 定义语料库和字典 corpus = [[(1, 0.5), (2, 0.2)], [(2, 0.3), (3, 0.5)], [(1, 0.1), (3, 0.4), (4, 0.3)]] dictionary = corpora.Dictionary(corpus) # 定义LDA模型并训练 lda_model = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=2) lda_model.print_topics() # 使用模型进行推断 doc_lda = lda_model[corpus] for i in range(len(corpus)): print("文档{}的主题分布为：".format(i)) print(doc_lda[i]) # 获取每个文档中主题的分布情况 doc_topic_dist = np.array([[tup for tup in lst] for lst in doc_lda]) # 打印每个文档的主题分布情况 print("每个文档的主题分布情况为：") print(doc_topic_dist) ``` 在上面的代码中，我们首先定义了一个语料库corpus和一个字典dictionary，然后使用这两个变量来训练LDA模型，并输出每个主题中包含的词语。接着我们使用训练好的模型对语料库进行推断，得到每个文档的主题分布情况，并将这些分布情况保存在一个二维数组doc_topic_dist中。最后，我们打印出每个文档的主题分布情况。 如果你想进一步了解LDA在推荐系统中的应用，可以参考文献《Collaborative Topic Modeling for Recommending Scientific Articles》。
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值