使用python读取多个文件夹中的文本文档并根据词频绘制词云图(以txt为例,附代码)

本文主要介绍如何从多个文件夹中读取txt文件,将所有的txt文档合并为txts,然后利用jieba分词,并统计txts中各个词语出现的词频,选取出现最多的十个词语绘制词云图。

import re # 正则表达式库
import collections # 词频统计库
import numpy as np # numpy数据处理库
import jieba # 结巴分词
import wordcloud # 词云展示库
from PIL import Image # 图像处理库
import matplotlib.pyplot as plt # 图像展示库
import os
# 定义文件夹路径
folder_paths = ["","","","","","","",""]  # 替换为你的文件夹路径

# 读取并合并所有txt文件
txts=[]
for folder_path in folder_paths:#遍历各个文件夹
    for file_name in os.listdir(folder_path):
        if file_name.endswith('.txt'):#寻找每个文件夹中的txt文件
            file_path = os.path.join(folder_path, file_name)
            with open(file_path, 'r', encoding='utf-8') as f:
                file_content = f.read()#读取文本内容
                txts.append(file_content)#将读取的文本内容加入到txts文件中
txts = ','.join(txts)
# 文本预处理
pattern = re.compile(u'\t|\n|\.|-|:|;|\)|\(|\?|"')# 定义正则表达式匹配模式
string_data = re.sub(pattern, '', txts)# 将符合模式的字符去除

# 文本分词
seg_list_exact = jieba.cut(string_data, cut_all = False)# 精确模式分词
object_list = []
remove_words = [u'的', u',',u'和']# 自定义统计词频中去除词库

for word in seg_list_exact: # 循环读出每个分词
    if word not in remove_words: # 如果不在去除词库中
        object_list.append(word) # 分词追加到列表

# 词频统计
word_counts = collections.Counter(object_list) # 对分词做词频统计
word_counts_top10 = word_counts.most_common(10) # 获取前10最高频的词
print (word_counts_top10) # 输出检查

# 词频展示
mask = np.array(Image.open("")) # 定义词频背景
wc = wordcloud.WordCloud(
    font_path='simhei.ttf', # 设置字体格式,一般电脑都会自带的
    mask=mask, # 设置背景图
    max_words=100, # 最多显示词数
    max_font_size=100 # 字体最大值
)

wc.generate_from_frequencies(word_counts) # 从字典生成词云
image_colors = wordcloud.ImageColorGenerator(mask) # 从背景图建立颜色方案
wc.recolor(color_func=image_colors) # 将词云颜色设置为背景图方案
plt.imshow(wc) # 显示词云
plt.axis('off') # 关闭坐标轴
plt.show() # 显示图像
wc.to_file("cloud.png')#将词云图保存到名为'cloud'的png照片格式

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值