jieba
中文分词第三方库
三种模式
- 精确模式:把文本精确的切分开,不存在冗余单词
- 全模式:把文本中所有可能的词语都扫描出来,存在冗余
- 搜索引擎模式:在精确模式的基础上,对长词再次切分
常用函数
jieba.cut(s)
精确模式,返回一个可迭代的数据类型
jieba.cut(s, cut_all=True)
全模式,输出文本s中所有可能单词
jieba.cut_for_search(s)
搜索引擎模式
jieba.lcut(s)
精确模式,返回一个列表类型
jieba.lcut(s, cut_all=True)
全模式,返回一个列表类型
jieba.lcut_for_search(s)
搜索引擎模式,返回一个列表类型
jieba.add_word(w)
向分词词典中增加新词
例:
import jieba
cut = jieba.cut("这是我第一次使用这个模式")
string = ' '.join(cut)
print(string)
wordcloud + matplotlib 结合 jieba 生成词云
import jieba
from matplotlib import pyplot as plt
from wordcloud import WordCloud
# 使用 jieba 进行分词
cut = jieba.cut("汉皇重色思倾国,御宇多年求不得。杨家有女初长成,养在深闺人未识。"
"天生丽质难自弃,一朝选在君王侧。回眸一笑百媚生,六宫粉黛无颜色。"
"春寒赐浴华清池,温泉水滑洗凝脂。侍儿扶起娇无力,始是新承恩泽时。"
"云鬓花颜金步摇,芙蓉帐暖度春宵。春宵苦短日高起,从此君王不早朝。"
"承欢侍宴无闲暇,春从春游夜专夜。后宫佳丽三千人,三千宠爱在一身。"
"金屋妆成娇侍夜,玉楼宴罢醉和春。姊妹弟兄皆列土,可怜光彩生门户。"
"遂令天下父母心,不重生男重生女。骊宫高处入青云,仙乐风飘处处闻。"
"缓歌慢舞凝丝竹,尽日君王看不足。渔阳鼙鼓动地来,惊破霓裳羽衣曲。"
"九重城阙烟尘生,千乘万骑西南行。翠华摇摇行复止,西出都门百余里。"
"六军不发无奈何,宛转蛾眉马前死。花钿委地无人收,翠翘金雀玉搔头。"
"君王掩面救不得,回看血泪相和流。黄埃散漫风萧索,云栈萦纡登剑阁。"
"峨嵋山下少人行,旌旗无光日色薄。蜀江水碧蜀山青,圣主朝朝暮暮情。"
"行宫见月伤心色,夜雨闻铃肠断声。天旋地转回龙驭,到此踌躇不能去。"
"马嵬坡下泥土中,不见玉颜空死处。君臣相顾尽沾衣,东望都门信马归。"
"归来池苑皆依旧,太液芙蓉未央柳。芙蓉如面柳如眉,对此如何不泪垂。"
"春风桃李花开日,秋雨梧桐叶落时。西宫南内多秋草,落叶满阶红不扫。"
"梨园弟子白发新,椒房阿监青娥老。夕殿萤飞思悄然,孤灯挑尽未成眠。"
"迟迟钟鼓初长夜,耿耿星河欲曙天。鸳鸯瓦冷霜华重,翡翠衾寒谁与共。"
"悠悠生死别经年,魂魄不曾来入梦。临邛道士鸿都客,能以精诚致魂魄。"
"为感君王辗转思,遂教方士殷勤觅。排空驭气奔如电,升天入地求之遍。"
"上穷碧落下黄泉,两处茫茫皆不见。忽闻海上有仙山,山在虚无缥渺间。"
"楼阁玲珑五云起,其中绰约多仙子。中有一人字太真,雪肤花貌参差是。"
"金阙西厢叩玉扃,转教小玉报双成。闻道汉家天子使,九华帐里梦魂惊。"
"揽衣推枕起徘徊,珠箔银屏迤逦开。云鬓半偏新睡觉,花冠不整下堂来。"
"风吹仙袂飘飖举,犹似霓裳羽衣舞。玉容寂寞泪阑干,梨花一枝春带雨。"
"含情凝睇谢君王,一别音容两渺茫。昭阳殿里恩爱绝,蓬莱宫中日月长。"
"回头下望人寰处,不见长安见尘雾。惟将旧物表深情,钿合金钗寄将去。"
"钗留一股合一扇,钗擘黄金合分钿。但教心似金钿坚,天上人间会相见。"
"临别殷勤重寄词,词中有誓两心知。七月七日长生殿,夜半无人私语时。"
"在天愿作比翼鸟,在地愿为连理枝。天长地久有时尽,此恨绵绵无绝期。")
string = ' '.join(cut)
print(string)
#读取背景图片
background = plt.imread("conan4.jpg")
wc = WordCloud(font_path= r'C:\Windows\Fonts\simkai.ttf', #使用系统中的字体,注意中文展示
mask = background,
background_color='white',
width=1000,
height=800,
)
# 根据文本生成词云
wc.generate_from_text(string)
process_word = WordCloud.process_text(wc,string)
print(process_word)
# 保存词云图片
wc.to_file('test.png') #保存图片
plt.imshow(wc) #用plt显示图片
plt.axis('off') #不显示坐标轴
plt.show()
wordcloud常用方法及参数
以下是在网上找的 wordcloud 常用的方法及其参数说明。
font_path : string //字体路径,如:font_path = '黑体.ttf'
width : int (default=400) //输出的画布宽度,默认为400像素
height : int (default=200) //输出的画布高度,默认为200像素
prefer_horizontal : float (default=0.90) //词语水平方向排版出现的频率,默认 0.9 (所以词语垂直方向排版出现频率为 0.1 )
mask : nd-array or None (default=None) //如果参数为空,则使用二维遮罩绘制词云。如果 mask 非空,设置的宽高值将被忽略,遮罩形状被 mask 取代。除全白(#FFFFFF)的部分将不会绘制,其余部分会用于绘制词云。如:bg_pic = imread('读取一张图片.png'),背景图片的画布一定要设置为白色(#FFFFFF),然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存,就ok了。
scale : float (default=1) //按照比例进行放大画布,如设置为1.5,则长和宽都是原来画布的1.5倍。
min_font_size : int (default=4) //显示的最小的字体大小
font_step : int (default=1) //字体步长,如果步长大于1,会加快运算但是可能导致结果出现较大的误差。
max_words : number (default=200) //要显示的词的最大个数
stopwords : set of strings or None //设置需要屏蔽的词,如果为空,则使用内置的STOPWORDS
background_color : color value (default=”black”) //背景颜色,如 background_color='white',背景颜色为白色。
max_font_size : int or None (default=None) //显示的最大的字体大小
mode : string (default=”RGB”) //当参数为“RGBA”并且background_color不为空时,背景为透明。
relative_scaling : float (default=.5) //词频和字体大小的关联性
color_func : callable, default=None //生成新颜色的函数,如果为空,则使用 self.color_func
regexp : string or None (optional) //使用正则表达式分隔输入的文本
collocations : bool, default=True //是否包括两个词的搭配
colormap : string or matplotlib colormap, default=”viridis” //给每个单词随机分配颜色,若指定color_func,则忽略该方法。
fit_words(frequencies) //根据词频生成词云
generate(text) //根据文本生成词云
generate_from_frequencies(frequencies[, ...]) //根据词频生成词云
generate_from_text(text)//根据文本生成词云
process_text(wc,text) //将长文本分词并去除屏蔽词(此处指英语,中文分词还是需要自己用别的库先行实现,使用上面的fit_words(frequencies) )
recolor([random_state, color_func, colormap]) //对现有输出重新着色。重新上色会比重新生成整个词云快很多。
to_array() //转化为 numpy array
to_file(filename) //输出到文件