本文主要介绍如何从多个文件夹中读取txt文件,将所有的txt文档合并为txts,然后利用jieba分词,并统计txts中各个词语出现的词频,选取出现最多的十个词语绘制词云图。
import re # 正则表达式库
import collections # 词频统计库
import numpy as np # numpy数据处理库
import jieba # 结巴分词
import wordcloud # 词云展示库
from PIL import Image # 图像处理库
import matplotlib.pyplot as plt # 图像展示库
import os
# 定义文件夹路径
folder_paths = ["","","","","","","",""] # 替换为你的文件夹路径
# 读取并合并所有txt文件
txts=[]
for folder_path in folder_paths:#遍历各个文件夹
for file_name in os.listdir(folder_path):
if file_name.endswith('.txt'):#寻找每个文件夹中的txt文件
file_path = os.path.join(folder_path, file_name)
with open(file_path, 'r', encoding='utf-8') as f:
file_content = f.read()#读取文本内容
txts.append(file_content)#将读取的文本内容加入到txts文件中
txts = ','.join(txts)
# 文本预处理
pattern = re.compile(u'\t|\n|\.|-|:|;|\)|\(|\?|"')# 定义正则表达式匹配模式
string_data = re.sub(pattern, '', txts)# 将符合模式的字符去除
# 文本分词
seg_list_exact = jieba.cut(string_data, cut_all = False)# 精确模式分词
object_list = []
remove_words = [u'的', u',',u'和']# 自定义统计词频中去除词库
for word in seg_list_exact: # 循环读出每个分词
if word not in remove_words: # 如果不在去除词库中
object_list.append(word) # 分词追加到列表
# 词频统计
word_counts = collections.Counter(object_list) # 对分词做词频统计
word_counts_top10 = word_counts.most_common(10) # 获取前10最高频的词
print (word_counts_top10) # 输出检查
# 词频展示
mask = np.array(Image.open("")) # 定义词频背景
wc = wordcloud.WordCloud(
font_path='simhei.ttf', # 设置字体格式,一般电脑都会自带的
mask=mask, # 设置背景图
max_words=100, # 最多显示词数
max_font_size=100 # 字体最大值
)
wc.generate_from_frequencies(word_counts) # 从字典生成词云
image_colors = wordcloud.ImageColorGenerator(mask) # 从背景图建立颜色方案
wc.recolor(color_func=image_colors) # 将词云颜色设置为背景图方案
plt.imshow(wc) # 显示词云
plt.axis('off') # 关闭坐标轴
plt.show() # 显示图像
wc.to_file("cloud.png')#将词云图保存到名为'cloud'的png照片格式