python（使用jieba包）生成词云（中文语料）

python（使用jieba包）生成词云（中文语料）

知识背景

jieba包：
基于Python的中文分词工具,安装使用非常方便,直接pip即可
如下是博主安装jieba包

三种可以让分词更准确的方法：
1：在jieba中添加中文词语
2：添加自定义词库
3：jieba的github
具体参考

---

此文目的：
a： 对一篇中文小说进行分词，产生结果。
b：分词的结果用词云的方式进行统计
c：形成一个根据词语出现频率的不同生成词云的关键字大小不同的图片，并且对词云图片设置背景图。
d: 最近为了使分词效果更好， 把文章中的停用词去掉以达到更好的效果。

1：代码

# coding=utf-8
"""
@author: jiajiknag
程序功能：
    a： 对一篇中文小说进行分词，产生结果。
    b：分词的结果用词云的方式进行统计
    c：形成一个根据词语出现频率的不同生成词云的关键字大小不同的图片，并且对词云图片设置背景图。
    d:  最近为了使分词效果更好， 把文章中的停用词去掉以达到更好的效果。
"""
import jieba
from os import path  #用来获取文档的路径

#词云
from PIL import Image
import numpy as  np
import matplotlib.pyplot as plt
#词云生成工具
from wordcloud import WordCloud,ImageColorGenerator
#需要对中文进行处理
import matplotlib.font_manager as fm

#背景图
bg=np.array(Image.open("beijin.jpg"))

#获取当前的项目文件加的路径
d=path.dirname(__file__)
#读取停用词表
stopwords_path='stopwords.txt'
#添加需要自定以的分词
jieba.add_word("侯亮平")
jieba.add_word("沙瑞金")
jieba.add_word("赵东来")

#读取要分析的文本
text_path="人民的名义.txt"
#读取要分析的文本，读取格式
text=open(path.join(d,text_path),encoding="utf8").read()

#定义个函数式用于分词
def jiebaclearText(text):
    #定义一个空的列表，将去除的停用词的分词保存
    mywordList=[]
    #进行分词
    seg_list=jieba.cut(text,cut_all=False)
    #将一个generator的内容用/连接
    listStr='/'.join(seg_list)
    #打开停用词表
    f_stop=open(stopwords_path,encoding="utf8")
    #读取
    try:
        f_stop_text=f_stop.read()
    finally:
        f_stop.close()#关闭资源
    #将停用词格式化，用\n分开，返回一个列表
    f_stop_seg_list=f_stop_text.split("\n")
    #对默认模式分词的进行遍历，去除停用词
    for myword in listStr.split('/'):
        #去除停用词
        if not(myword.split()) in f_stop_seg_list and len(myword.strip())>1:
            mywordList.append(myword)
    return ' '.join(mywordList)
text1=jiebaclearText(text)

#生成
wc=WordCloud(
    background_color="white",
    max_words=200,
    mask=bg,            #设置图片的背景
    max_font_size=60,
    random_state=42,
    font_path='C:/Windows/Fonts/simkai.ttf'   #中文处理，用系统自带的字体
    ).generate(text1)
#为图片设置字体
my_font=fm.FontProperties(fname='C:/Windows/Fonts/simkai.ttf')
#产生背景图片，基于彩色图像的颜色生成器
image_colors=ImageColorGenerator(bg)
#开始画图
plt.imshow(wc.recolor(color_func=image_colors))
#为云图去掉坐标轴
plt.axis("off")
#画云图，显示
#plt.figure()
plt.show()
#为背景图去掉坐标轴
plt.axis("off")
plt.imshow(bg,cmap=plt.cm.gray)

#保存云图
wc.to_file("ciyun_02.png")

2：结果

参考来源：
参考来源