Python jieba + wordcloud + matplotlib

jieba

中文分词第三方库

三种模式

• 精确模式：把文本精确的切分开，不存在冗余单词
• 全模式：把文本中所有可能的词语都扫描出来，存在冗余
• 搜索引擎模式：在精确模式的基础上，对长词再次切分

常用函数

jieba.cut(s)

精确模式，返回一个可迭代的数据类型

jieba.cut(s, cut_all=True)

全模式，输出文本s中所有可能单词

jieba.cut_for_search(s)

搜索引擎模式

jieba.lcut(s)

精确模式，返回一个列表类型

jieba.lcut(s, cut_all=True)

全模式，返回一个列表类型

jieba.lcut_for_search(s)

搜索引擎模式，返回一个列表类型

jieba.add_word(w)

向分词词典中增加新词

例：

import jieba

cut = jieba.cut("这是我第一次使用这个模式")
string = ' '.join(cut)
print(string)

wordcloud + matplotlib 结合 jieba 生成词云

import jieba
from matplotlib import pyplot as plt
from wordcloud import WordCloud

# 使用 jieba 进行分词
cut = jieba.cut("汉皇重色思倾国，御宇多年求不得。杨家有女初长成，养在深闺人未识。"
      "天生丽质难自弃，一朝选在君王侧。回眸一笑百媚生，六宫粉黛无颜色。"
      "春寒赐浴华清池，温泉水滑洗凝脂。侍儿扶起娇无力，始是新承恩泽时。"
      "云鬓花颜金步摇，芙蓉帐暖度春宵。春宵苦短日高起，从此君王不早朝。"
      "承欢侍宴无闲暇，春从春游夜专夜。后宫佳丽三千人，三千宠爱在一身。"
      "金屋妆成娇侍夜，玉楼宴罢醉和春。姊妹弟兄皆列土，可怜光彩生门户。"
      "遂令天下父母心，不重生男重生女。骊宫高处入青云，仙乐风飘处处闻。"
      "缓歌慢舞凝丝竹，尽日君王看不足。渔阳鼙鼓动地来，惊破霓裳羽衣曲。"
      "九重城阙烟尘生，千乘万骑西南行。翠华摇摇行复止，西出都门百余里。"
      "六军不发无奈何，宛转蛾眉马前死。花钿委地无人收，翠翘金雀玉搔头。"
      "君王掩面救不得，回看血泪相和流。黄埃散漫风萧索，云栈萦纡登剑阁。"
      "峨嵋山下少人行，旌旗无光日色薄。蜀江水碧蜀山青，圣主朝朝暮暮情。"
      "行宫见月伤心色，夜雨闻铃肠断声。天旋地转回龙驭，到此踌躇不能去。"
      "马嵬坡下泥土中，不见玉颜空死处。君臣相顾尽沾衣，东望都门信马归。"
      "归来池苑皆依旧，太液芙蓉未央柳。芙蓉如面柳如眉，对此如何不泪垂。"
      "春风桃李花开日，秋雨梧桐叶落时。西宫南内多秋草，落叶满阶红不扫。"
      "梨园弟子白发新，椒房阿监青娥老。夕殿萤飞思悄然，孤灯挑尽未成眠。"
      "迟迟钟鼓初长夜，耿耿星河欲曙天。鸳鸯瓦冷霜华重，翡翠衾寒谁与共。"
      "悠悠生死别经年，魂魄不曾来入梦。临邛道士鸿都客，能以精诚致魂魄。"
      "为感君王辗转思，遂教方士殷勤觅。排空驭气奔如电，升天入地求之遍。"
      "上穷碧落下黄泉，两处茫茫皆不见。忽闻海上有仙山，山在虚无缥渺间。"
      "楼阁玲珑五云起，其中绰约多仙子。中有一人字太真，雪肤花貌参差是。"
      "金阙西厢叩玉扃，转教小玉报双成。闻道汉家天子使，九华帐里梦魂惊。"
      "揽衣推枕起徘徊，珠箔银屏迤逦开。云鬓半偏新睡觉，花冠不整下堂来。"
      "风吹仙袂飘飖举，犹似霓裳羽衣舞。玉容寂寞泪阑干，梨花一枝春带雨。"
      "含情凝睇谢君王，一别音容两渺茫。昭阳殿里恩爱绝，蓬莱宫中日月长。"
      "回头下望人寰处，不见长安见尘雾。惟将旧物表深情，钿合金钗寄将去。"
      "钗留一股合一扇，钗擘黄金合分钿。但教心似金钿坚，天上人间会相见。"
      "临别殷勤重寄词，词中有誓两心知。七月七日长生殿，夜半无人私语时。"
      "在天愿作比翼鸟，在地愿为连理枝。天长地久有时尽，此恨绵绵无绝期。")
string = ' '.join(cut)
print(string)

#读取背景图片
background = plt.imread("conan4.jpg")
wc = WordCloud(font_path= r'C:\Windows\Fonts\simkai.ttf',  #使用系统中的字体，注意中文展示
   mask = background,
   background_color='white',
   width=1000,
   height=800,
   )
# 根据文本生成词云
wc.generate_from_text(string)
process_word = WordCloud.process_text(wc,string)
print(process_word)
# 保存词云图片
wc.to_file('test.png') #保存图片
plt.imshow(wc)  #用plt显示图片
plt.axis('off') #不显示坐标轴
plt.show()  

wordcloud常用方法及参数

以下是在网上找的 wordcloud 常用的方法及其参数说明。

font_path : string //字体路径，如：font_path = '黑体.ttf'

width : int (default=400) //输出的画布宽度，默认为400像素

height : int (default=200) //输出的画布高度，默认为200像素

prefer_horizontal : float (default=0.90) //词语水平方向排版出现的频率，默认 0.9 （所以词语垂直方向排版出现频率为 0.1 ）

mask : nd-array or None (default=None) //如果参数为空，则使用二维遮罩绘制词云。如果 mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云。如：bg_pic = imread('读取一张图片.png')，背景图片的画布一定要设置为白色（#FFFFFF），然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存，就ok了。

scale : float (default=1) //按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍。

min_font_size : int (default=4) //显示的最小的字体大小

font_step : int (default=1) //字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差。

max_words : number (default=200) //要显示的词的最大个数

stopwords : set of strings or None //设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS

background_color : color value (default=”black”) //背景颜色，如  background_color='white',背景颜色为白色。

max_font_size : int or None (default=None) //显示的最大的字体大小

mode : string (default=”RGB”) //当参数为“RGBA”并且background_color不为空时，背景为透明。

relative_scaling : float (default=.5) //词频和字体大小的关联性

color_func : callable, default=None //生成新颜色的函数，如果为空，则使用 self.color_func

regexp : string or None (optional) //使用正则表达式分隔输入的文本

collocations : bool, default=True //是否包括两个词的搭配

colormap : string or matplotlib colormap, default=”viridis” //给每个单词随机分配颜色，若指定color_func，则忽略该方法。

fit_words(frequencies)  //根据词频生成词云

generate(text)  //根据文本生成词云

generate_from_frequencies(frequencies[, ...])   //根据词频生成词云

generate_from_text(text)//根据文本生成词云

process_text(wc,text)  //将长文本分词并去除屏蔽词（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的fit_words(frequencies) ）

recolor([random_state, color_func, colormap])   //对现有输出重新着色。重新上色会比重新生成整个词云快很多。

to_array()  //转化为 numpy array

to_file(filename)   //输出到文件