利用gensim生成词袋模型（基于频次和基于TF-IDF）

已于 2022-06-11 22:16:17 修改
阅读量550 收藏 3
点赞数 1
分类专栏： 文本表示 文章标签： 自然语言处理 python 机器学习
于 2022-06-11 22:15:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50291342/article/details/125239315
版权

前言

参考文献：胡盼盼编著. 自然语言处理从入门到实战[M]. 中国铁道出版社, 2020.

最近在学习文本表示的一种最简单方式——词袋模型，书中给出了使用gensim生成词袋模型的代码，原代码就来自于这本书，我加了一些注释，方便理解代码。

一、引入库

from gensim.models import TfidfModel
from gensim.corpora import Dictionary
import jieba

二、准备数据

raw_texts = ['你站在桥上看风景','看风景的人在楼上看你',
最低0.47元/天 解锁文章
weixin_50291342
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
gensim包的tfidf方法计算中文文本相似度
01-18
gensim包的tfidf方法计算中文文本相似度，代码可直接运行，包含中文停用词，方便。
中文自然语言处理--Gensim 构建词袋模型
糯米君的博客
03-12 752
import jieba from gensim import corpora import gensim # 首先，引入 jieba 分词器、语料和停用词。 # 定义停用词、标点符号 punctuation = ["，", "。", "：", "；", "？"] # 定义语料 content = ["机器学习带动人工智能飞速的发展。", "深度学习带动人工智能飞速的发展。", "机器学习和深度学习带动人工智能飞速的发展。"] # 对语料进行分词操作，这里用到
Python结合gensim与jieba：深度探索文本挖掘——词袋模型与TF-IDF实践
最新发布
qq__3213559056的博客
06-13 27
自定义词典的格式为词语-词频-词性云计算 5李小福 2 nr创新办 3 i好用 300韩玉赏鉴 3 nz八一双鹿 3 nz台中凱特琳 nzEdu Trust认证 2000add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理
weixin_44804517的博客
04-09 1516
自然语言处理作业（4.5） 本次作业的要求是：通过处理部分新闻文本数据的test.txt，使用spacy和Gensim模块包在进行数据预处理后，使用词袋、TF-IDF和n-gram三种方法向量化，并分别输出成三份txt。 对于存有部分新闻文本的test.txt文件，先对该文件进行去除停用词等相关处理如下： import spacy from spacy.lang.zh.stop_words import STOP_WORDS import pandas as pd from gensim import co
gensim进阶：TFIDF模型训练以及查找具体词汇的tfidf值
weixin_51143561的博客
01-17 5088
经过整整一天的不懈奋斗，我终于破解了gensim的语料导入！ 首先把完整的训练模型和保存的代码放上： from gensim import models from gensim import corpora from gensim.models import TfidfModel with open("文件.txt","r"，encoding='utf-8') as f: txts = eval(f.read()) # 用eval()把字符串化的列表还原为列表 dictionary =
基于特定语料库的TF-IDF的中文关键词提取
07-02
TF-IDF（Term Frequency-Inverse Document Frequency）是一种在信息检索和自然语言处理领域广泛应用的算法，用于衡量一个词在文档中的重要性。它基于词频（Term Frequency, TF）和逆文档频率（Inverse Document ...
[文本语义相似] 基于ngram-tf-idf的余弦距离
12-21
tf-idf值是这两个值的乘积，因此，它能有效地平衡词频高但普遍存在的词（如停用词）和低频但具有区分性的词。 接下来，我们将介绍如何基于sklearn库来实现ngram-tf-idf的余弦距离计算。sklearn库提供了`...
TF-IDF和BM25算法原理及python实现
12-21
一个用户问题与一个标准问题的TF-IDF相似度，是将用户问题中每一词与标准问题计算得到的TF-IDF值求和。计算公式如下： TF-IDF算法，计算较快，但是存在着缺点，由于它只考虑词频的因素，没有体现出词汇在文中上下文...
Python利用TF-IDF等模型构建的问答系统源码.zip
10-30
本项目是基于Python语言，利用TF-IDF（Term Frequency-Inverse Document Frequency）等模型构建的一个问答系统。TF-IDF是一种在信息检索和文本挖掘中常用的统计方法，用于评估一个词对于文档集合或语料库中的一个...
【文本挖掘】——文本信息化——词袋模型
m0_46568930的博客
12-17 937
文本信息化一、词袋模型：1.One-hot2. One-hot＝Bag of Words词袋模型3.gensim实现词袋模型   将文本信息数值化，从而便于建模。工欲善其事，必先利其器。在数据挖掘中，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。因此文档信息向量化决定模型的高度。 一、词袋模型： 1.One-hot   在之前做纯数据挖掘时，我记得它叫独热编码，它的基本思想时将每个特征可能取到的值单独作为一个变量，该变量出现记为1，不出现记为0.   在文本分析中，它是一种最早用于提取文
NLP-词向量-发展：词袋模型【onehot、tf-idf】 -＞ 主题模型【LSA、LDA】 -＞ 词向量静态表征【Word2vec、GloVe、FastText】 -＞ 词向量动态表征【Bert】
u013250861的博客
07-08 1285
一、词袋模型（Bag-Of-Words） 1、One-Hot 2、tf-idf 二、主题模型 1、LSA（SVD） 2、pLSA 3、LDA 三、基于词向量的固定表征 1、word2vec 2、fastText 3、glove 官方glove： https://github.com/stanfordnlp/GloVe，C实现 Python 实现： https://github.com/maciejkula/glove-python 安装 pip install glove_python 四、基于词向量
NLP09-Gensim源码简析[TfidfModel]
ld326的专栏
11-04 5449
摘要：通读TfidfModel模型的源码，理清模型的原理：是一个语料另一种表示；是一种语料的词权重表示，是词的一种加重技术；是一套自定义的计算模型方法；直观的核心思想是：字词的重要性与文档中出现的频数成正比，与语料库中出现的频数成反比。Gensim实现中关键代码体现在两个地方，一个是构造函数，另一个在getitem函数上。构函数主要一个语料的训练，在内存保存相关模型，getitem函数是一个具体应用
文本的表示技术 | （1）词袋模型
qq_40276310的博客
11-23 679
5.1 词袋模型（Bag-of-Words，BOW） 5.1.1 基于频次的词袋模型 假设数据集为两个经过预处理且分好词的句子： 1.你/站在/桥上/看/风景/看/风景/的/人/在/楼上/看/你 2.明月/装饰/了/你/的/窗子/你/装饰/了/别人/的/梦 可得到对应长度为15的词典如下： [里面包含15个词] 如此可以将两个句子向量化如下： 1.[2,1,1,3,2,1,1,1,1,0,0,0,0,0,0] 2.[2,0,0,0,0,2,0,0,0,1,2,2,1,1,1] 基于频次的
gensim实现TF-IDF和LDA模型、sklearn实现聚类
持续战斗状态的博客
11-01 4605
目录gensim实现TF-IDF和LDA模型，sklearn实现聚类1.数据处理1.1 分词1.2 清洗2 gensim构造Dictionary、corpora以及使用TF-IDF2.1 词典创建2.2 corpus创建2.3 词袋转为TF-IDF3 创建LDA模型3.1 结果查看3.2 评估指标4.sklearn实现聚类4.1 构造特征4.2 KMeans4.3 评估指标 gensim实现TF-IDF和LDA模型，sklearn实现聚类 1.数据处理 假如我有1000篇文章，每篇文章形如： 本发明公开的一
用Python（jieba、gensim、TF-IDF模型）进行简单的文本相似度分析
yuanzhen1999的博客
05-20 1595
学习目标： 利用gensim包分析文档相似度 使用jieba进行中文分词 了解TF-IDF模型 环境： Python 3.6.0 |Anaconda 4.3.1 (64-bit) 工具： Geany 引言： 任务：从excel中读取文件，保存为列表，然后建立词库，给定一个keyword从词库中检索，计算相似度，当相似度达一定程度后，将内容打印出来。 并不是一片小白文，如需了解基础请参考博文：参考 步骤： 1.文档内容 2.引入相关库： import xlrd import jieba from gensi
TF-IDF计算比较compare（gensim、jieba、sklearn、手工的异同）
大漠帝国的博客
07-31 2666
一.概述 TF-IDF（英文名: term frequency-inverse document frequency），引用百度百科的说法: TF-IDF是一种用于信息检索与数据挖掘的常用加权技术。 TF意思是词频(Term Frequency)，用在句子构成的语料中，就是字或者词在文本中出现的频率。 一般计算是: TF =...
gensim使用
swai1688的博客
03-16 383
参考教程 核心概念 Document(文档) Corpus(语料库） Vector（向量） Model（模型） Dictionary,doc2bow #处理流程：语料转成2维，->Dictionary变成字典->doc2bow变成向量->models进入模型 #corpora:语料相关的知识 #models：模型相关的 from gensim import corpora from gensim import models #输入的语料 text_corpus = [
TF-IDF模型和LDA模型组合表示的代码
03-31
由于TF-IDF模型和LDA模型是两种不同的文本处理模型，它们的表示方式也不同，因此需要将它们组合起来表示文本的特征。 下面是一个示例代码，展示如何使用Python中的gensim库实现TF-IDF模型和LDA模型的组合表示： ``` import gensim from gensim import corpora, models # 构建语料库 documents = [ "This is a sample document.", "Another sample document.", "This is the third sample document.", "And this is the fourth sample document." ] # 将文本转化为词袋表示 texts = [[word for word in document.lower().split()] for document in documents] # 构建词典 dictionary = corpora.Dictionary(texts) # 构建TF-IDF模型 corpus = [dictionary.doc2bow(text) for text in texts] tfidf = models.TfidfModel(corpus) # 构建LDA模型 lda = models.LdaModel(corpus, num_topics=2, id2word=dictionary) # 组合表示 for i in range(len(documents)): document = documents[i] text = texts[i] bow = dictionary.doc2bow(text) tfidf_vec = tfidf[bow] lda_vec = lda[bow] print("Document:", document) print("TF-IDF vector:", tfidf_vec) print("LDA vector:", lda_vec) print("Combined vector:", tfidf_vec + lda_vec) ``` 上述代码中，首先将文本转化为词袋表示，并构建词典。然后使用词典和词袋表示构建TF-IDF模型和LDA模型。最后，将每个文本的词袋表示通过TF-IDF模型和LDA模型转化为向量表示，并将它们组合起来表示为一个文本的特征向量。 需要注意的是，TF-IDF模型和LDA模型的向量表示的维度是不同的，因此在组合表示时需要对它们进行合并。一种常见的方法是将它们拼接成一个长向量。在上述示例代码中，我们简单地将它们相加作为组合表示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值