python文本字词分割jieba、词库云WordCloud

觅远

已于 2023-05-31 15:12:26 修改

阅读量999

点赞数 2

分类专栏： python 图像处理自动化办公文章标签： python 开发语言

于 2022-08-17 20:01:03 首次发布

本文链接：https://blog.csdn.net/JBY2020/article/details/126393077

版权

python 同时被 3 个专栏收录

52 篇文章 3 订阅

订阅专栏

自动化办公

23 篇文章 3 订阅

订阅专栏

图像处理

12 篇文章 3 订阅

订阅专栏

字词分割

下载安装库：pip install jieba

jieba库的三种模式

jieba.lcut(text)  # 精准模式：将文本精确切分，不存在冗余的单词
jieba.lcut(text, cut_all=True)  # 全模式：将所有可能的词语扫描出来，存在冗余
jieba.lcut_for_search(text)  # 搜索引擎模式:精准匹配模式基础上对长词再切分

词库云

词库云参数

mask : nd-array or None (default=None) #如果参数为空，则使用二维遮罩绘制词云。如果 mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云。如：bg_pic = imread('读取一张图片.png')，背景图片的画布一定要设置为白色（#FFFFFF），然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存，就ok了。
scale : float (default=1) #按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍
font_step : int (default=1) #字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差
stopwords : set of strings or None #设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS
background_color : color value (default=”black”) #背景颜色，如background_color='white',背景颜色为白色
mode : string (default=”RGB”) #当参数为“RGBA”并且background_color不为空时，背景为透明
relative_scaling : float (default=.5) #词频和字体大小的关联性
color_func : callable, default=None #生成新颜色的函数，如果为空，则使用 self.color_func
regexp : string or None (optional) #使用正则表达式分隔输入的文本
collocations : bool, default=True #是否包括两个词的搭配
colormap : string or matplotlib colormap, default=”viridis” #给每个单词随机分配颜色，若指定color_func，则忽略该方法
random_state : int or None  #为每个单词返回一个PIL颜色

词库云方法

fit_words(frequencies)  # 根据词频生成词云
generate(text)  # 根据文本生成词云
generate_from_frequencies(frequencies[, ...])   # 根据词频生成词云
generate_from_text(text)    # 根据文本生成词云
process_text(text)  # 将长文本分词,并去除屏蔽词（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit_words(frequencies) ）
recolor([random_state, color_func, colormap])   # 对现有输出重新着色。重新上色会比重新生成整个词云快很多
to_array()  # 转化为 numpy array
to_file(filename)   # 输出到文件

词库云汉语乱码解决

# # FONT_PATH = os.environ.get('FONT_PATH', os.path.join(FILE, 'DroidSansMono.ttf'))  # 将wordcloud.py源码中默认的字体库改为中文字体库名，如黑体simhei.ttf
# FONT_PATH = os.environ.get('FONT_PATH', os.path.join(FILE, 'simhei.ttf'))

# coding=utf-8
from wordcloud import WordCloud
import jieba, imageio, warnings

warnings.filterwarnings('ignore')  # 屏蔽警告错误
text = '''
亡是公听然而笑曰：“楚则失矣，而齐亦未为得也。夫使诸侯纳贡者，非为财币，所以述职也。封疆画界者，非为守御，所以禁淫也。今齐列为东藩，而外私肃慎，捐国逾限，越海而田，其于义固未可也。且二君之论，不务明君臣之义，正诸侯之礼，徒事争于游戏之乐，苑囿之大，欲以奢侈相胜，荒淫相越。此不可以扬名发誉，而适足以贬君自损也。且夫齐楚之事，又乌足道乎？君未睹夫巨丽也，独不闻天子之上林乎？左苍梧，右西极；丹水更其南，紫渊径其北。终始灞浐，出入泾渭；酆镐潦潏，纡馀委蛇，经营乎其内。荡荡乎八川分流，相背而异态。东西南北，驰骛往来，出乎椒丘之阙，行乎洲淤之浦，经乎桂林之中，过乎泱漭之野。汩乎混流，顺阿而下，赴隘狭之口，触穹石，激堆埼，沸乎暴怒，汹涌澎湃。滭弗宓汩，逼侧泌瀄，横流逆折，转腾潎冽，滂濞沆溉。穹隆云桡，宛潬胶盭。逾波趋浥，涖涖下濑。批岩冲拥，奔扬滞沛。临坻注壑，瀺灂霣坠，沈沈隐隐，砰磅訇礚，潏潏淈淈，湁潗鼎沸。驰波跳沫，汩濦漂疾。悠远长怀，寂漻无声，肆乎永归。然后灏溔潢漾，安翔徐回，翯乎滈滈，东注太湖，衍溢陂池。
'''
jieba.add_word('批岩冲拥')  # 在使用切分方法之前，用添加新词的功能，之后的切分就会将这个词看成一个完成的词，不去做分割
d1 = jieba.lcut(text)
d = ' '.join(d1)

im = imageio.imread(r'D:\zhuomian\Image\123.jfif')
# 实例化词库云对象
wd = WordCloud(
    width=1000,  # 画布宽度(int,default=400)
    height=500,  # 画布高度(int,default=200)
    # min_font_size=40,  # 最小字号大小(int,default=40)
    # max_font_size=80,  # 最大字号大小(int or None,default=None)
    font_path=r'C:\Windows\Fonts\STXINGKA.TTF',  # 字体路径
    max_words=1000,  # 词语个数最大的显示数量(number,default=200)
    background_color='white',  # 背景颜色,默认为黑色(value,default=”black”)
    prefer_horizontal=.6,  # 词语水平方向排列的频率(float,default=0.90)，垂直方向为1减去prefer_horizontal
    mask=im,  # 修改云图形状
)

wd.generate(d)  # 生成词云（以标点符号和空格分割）
wd.to_file('wd.png')  # 保存词云