分词与词频的统计

最新推荐文章于 2023-06-03 14:49:27 发布

今夕！！

最新推荐文章于 2023-06-03 14:49:27 发布

阅读量1.2k

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/weixin_56859820/article/details/119530984

版权

本文介绍了在文本分析中进行分词和词频统计的基础步骤。通过使用Python的jieba库对文本进行分词，然后存储和筛选分词结果，最终生成词频统计的Excel文件，为后续的TD-IDF、聚类等高级分析做准备。

摘要由CSDN通过智能技术生成

在对文本分析的过程中,分词与统计词频是最基本的操作,下面我就来分享下

首先对文本进行导入,而后进行jieba库的分词操作

import jieba

file=open('./1.txt','r',encoding='utf-8')
txt=file.read()
words=jieba.lcut(txt)
file.close()

注意文件分词之后,需要close文件

分词结束后,对分词进行存储并筛选,代码如下:


import pandas as pd
#import openpyxl

words_dict={}  #存储词及词出现的次数
for word in words:
    if len(word)==1:#构不成词,跳过
        continue
    else:
        if word in words_dict:
            words_dict[word]+=1  #如果词在字典中存在,累加
        else:
            words_dict[word]=1 #首次出现
words_dict_sort=sorted(words_dict.items(),key=lambda x:x[1],reverse=True)
#print(words_dict_sort)
stop_word=[]
for word in stop_word:
    if word in words_dict:
        del words_dict[word]
words_dict_sort=sorted(words_dict.items(),key=lambda x:x[1],reverse=True)
print(words_dict_sort)
df=pd.DataF