二、利用wordcloud绘制词云图
wordcloud 是Python中制作词云图比较经典的一个模块,赋予用户高度的自由度来创作词云图:
图2 wordcloud制作词云图示例2.1 从一个简单的例子开始
这里我们使用到来自wordcloud官方文档中的 constitution.txt 来作为可视化的数据素材:
图3 constitution.txt
首先我们读入数据并将数据清洗成空格分隔的长字符串:
importre
withopen( ‘constitution.txt’) asc:
‘’’抽取文本中的英文部分并小写化,并将空格作为分隔拼接为长字符串’’’
text = ‘ ‘.join([word.group.lower forword inre.finditer( ‘[a-zA-Z]+’, c.read)])
‘’’查看前100个字符’’’
text[: 500] 图4 清洗后的片段文本
接着使用wordcloud中用于生成词云图的类 WordCloud 配合 matplotlib ,在默认参数设置下生成一张简单的词云图:
fromwordcloud importWordCloud
importmatplotlib.pyplot asplt
%matplotlib inline
‘’’从文本中生成词云图’’’
wordcloud = WordCloud.generate(text)
plt.figure(figsize=[ 12, 10])
plt.imshow(wordcloud)
plt.axis( ‘off’)
plt.show
生成的词云图:
图5 默认参数下的词云图
毕竟是在默认参数下生成的词云图,既丑陋又模糊,为了绘制好看的词云图,接下来我们来对wordcloud绘制词云图的细节内容进行介绍,并不断地对图5进行升级改造。
2.2 WordCloud
作为 wordcloud 绘制词云图最核心的类, WordCloud 的主要参数及说明如下:
fontpath:字符型,用于传入本地特定字体文件的路径(ttf或otf文件)从而影响词云图的字体族
width:int型,用于控制词云图画布宽度,默认为400
height:int型,用于控制词云图画布高度,默认为200
prefer_horizontal:float型,控制所有水平显示的文字相对于竖直显示文字的比例,越小则词云图中竖直显示的文字越多
mask:传入蒙版图像矩阵,使得词云的分布与传入的蒙版图像一致
contour:float型,当mask不为None时,contour参数决定了蒙版图像轮廓线的显示宽度,默认为0即不显示轮廓线
contour_color:设置蒙版轮廓线的颜色,默认为’black’
scale:当画布长宽固定时,按照比例进行放大画布,如scale设置为1.5,则长和宽都是原来画布的1.5倍
min_font_size:int型,控制词云图中最小的词对应的字体大小,默认为4
max_font_size:int型,控制词云图中最大的词对应的字体大小,默认为200
max_words:int型,控制一张画布中最多绘制的词个数,默认为200
stopwords:控制绘图时忽略的停用词,即不绘制停用词中提及的词,默认为None,即调用自带的停用词表(仅限英文,中文需自己提供并传入)
background_color:控制词云图背景色,默认为’black’
mode:当设置为’RGBA’且background_color设置为None时,背景色变为透明,默认为’RGB’
relative_scaling:float型,控制词云图绘制字的字体大小与对应字词频的一致相关性,当设置为1时完全相关,当为0时完全不相关,默认为0.5
color_func:传入自定义调色盘函数,默认为None
colormap:对应 matplotlib 中的colormap调色盘,默认为 viridis ,这个参数与参数 color_func互斥,当 color_func有函数传入时本参数失效
repeat:bool型,控制是否允许一张词云图中出现重复词,默认为False即不允许重复词
random_state:控制随机数水平,传入某个固定的数字之后每一次绘图文字布局将不会改变
fontpath:字符型,用于传入本地特定字体文件的路径(ttf或otf文件)从而影响词云图的字体族
width:int型,用于控制词云图画布宽度,默认为400
height:int型,用于控制词云图画布高度,默认为200
prefer_horizontal:float型,控制所有水平显示的文字相对于竖直显示文字的比例,越小则词云图中竖直显示的文字越多
mask:传入蒙版图像矩阵,使得词云的分布与传入的蒙版图像一致
contour:float型,当mask不为None时,contour参数决定了蒙版图像轮廓线的显示宽度,默认为0即不显示轮廓线
contour_color:设置蒙版轮廓线的颜色,默认为’black’
scale:当画布长宽固定时,按照比例进行放大画布,如scale设置为1.5,则长和宽都是原来画布的1.5倍
min_font_size:int型,控制词云图中最小的词对应的字体大小,默认为4
max_font_size:int型,控制词云图中最大的词对应的字体大小,默认为200
max_words:int型,控制一张画布中最多绘制的词个数,默认为200
stopwords:控制绘图时忽略的停用词,即不绘制停用词中提及的词,默认为None,即调用自带的停用词表(仅限英文,中文需自己提供并传入)
background_color:控制词云图背景色,默认为’black’
mode:当设置为’RGBA’且background_color设置为None时,背景色变为透明,默认为’RGB’
relative_scaling:float型,控制词云图绘制字的字体大小与对应字词频的一致相关性,当设置为1时完全相关,当为0时完全不相关,默认为0.5
color_func:传入自定义调色盘函数,默认为None
colormap:对应 matplotlib 中的colormap调色盘,默认为 viridis ,这个参数与参数 color_func互斥,当 color_func有函数传入时本参数失效
repeat:bool型,控制是否允许一张词云图中出现重复词,默认为False即不允许重复词
random_state:控制随机数水平,传入某个固定的数字之后每一次绘图文字布局将不会改变
了解了上述参数的意义之后,首先我们修改背景色为白色,增大图床的长和宽,加大scale以提升图片的精细程度,并使得水平显示的文字尽可能多:
‘’’从文本中生成词云图’’’
wordcloud = WordCloud(background_color= ‘white’, # 背景色为白色
height= 400, # 高度设置为400
width= 800, # 宽度设置为800
scale= 20, # 长宽拉伸程度设置为20
prefer_horizontal= 0.9999).generate(text)
plt.figure(figsize=[ 8, 4])
plt.imshow(wordcloud)
plt.axis( ‘off’)
‘’’保存到本地’’’
plt.savefig( ‘图6.jpg’, dpi= 600, bbox_inches= ‘tight’, quality= 95)
plt.show
图6
可以看到相较于图5,在美观程度上有了很大的进步,接下来,我们在图6的基础上添加美国本土地图蒙版:
图7 美国本土地图蒙版
利用 PIL 模块读取我们的 美国本土地图蒙版.png 文件并转换为numpy数组,作为 WordCloud 的mask参数传入:
fromPIL importImage
importnumpy asnp
usa_mask = np.array(Image.open( ‘美国本土地图蒙版.png’))
‘’’从文本中生成词云图’’’
wordcloud = WordCloud(background_color= ‘white’, # 背景色为白色
height= 4000, # 高度设置为400
width= 8000, # 宽度设置为800
scale= 20, # 长宽拉伸程度程度设置为20
prefer_horizontal= 0.9999,
mask=usa_mask # 添加蒙版
).generate(text)
plt.figure(figsize=[ 8, 4])
plt.imshow(wordcloud)
plt.axis( ‘off’)
‘’’保存到本地’’’
plt.savefig( ‘图8.jpg’, dpi= 600, bbox_inches= ‘tight’, quality= 95)
plt.show
图8
可以看到图8在图6的基础上进一步提升了美观程度,接下来我们利用 wordcloud 中用于从图片中提取调色方案的类 ImageColorGenerator 来从下面的星条旗美国地图蒙版中提取色彩方案,进而反馈到词云图上:
图9 美国地图蒙版星条旗色fromPIL importImage
importnumpy asnp
fromwordcloud importImageColorGenerator
usa mask = np.array(Image.open( ‘美国地图蒙版星条旗色.png’))
image_colors = ImageColorGenerator(usa_mask)
‘’’从文本中生成词云图’’’
wordcloud = WordCloud(background_color= ‘white’, # 背景色为白色
height= 400, # 高度设置为400
width= 800, # 宽度设置为800
scale= 20, # 长宽拉伸程度程度设置为20
prefer_horizontal= 0.2, # 调整水平显示倾向程度为0.2
mask=usa_mask, # 添加蒙版
max_words= 1000, # 设置最大显示字数为1000
relative_scaling= 0.3, # 设置字体大小与词频的关联程度为0.3
max_font_size= 80# 缩小最大字体为80
).generate(text)
plt.figure(figsize=[ 8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha= 1)
plt.axis( ‘off’)
‘’’保存到本地’’’
plt.savefig( ‘图10.jpg’, dpi= 600, bbox_inches= ‘tight’, quality= 95)
plt.show
图102.3 中文词云图
相较于英文文本语料,中文语料处理起来要麻烦一些,我们需要先进行分词等预处理才能进行下一步的处理,这里我们使用某外卖平台用户评论数据,先读取进来看看:
importpandas aspd
importjieba
‘’’读入原始数据’’’
raw_comments = pd.read_csv( ‘waimai_10k.csv’);raw_comments.head
图11
接下来我们利用 re 、 jieba 以及 pandas 中的 apply 对评论列进行快速清洗:
‘’’导入停用词表’’’
withopen( ‘stopwords.txt’) ass:
stopwords = set([line.replace( ‘n’, ‘’) forline ins])
‘’’传入apply的预处理函数,完成中文提取、分词以及多余空格剔除’’’
defpreprocessing(c):
c = [word forword injieba.cut( ‘ ‘.join(re.findall( ‘[u4e00-u9fa5]+’, c))) ifword != ‘ ‘andword notinstopwords]
return‘ ‘.join(c)
‘’’将所有语料按空格拼接为一整段文字’’’
comments = ‘ ‘.join(raw_comments[ ‘review’].apply(preprocessing));comments[: 500]
得到的结果如图12:
图12
这时我们就得到所需的文本数据,接下来我们用美团外卖的logo图片作为蒙版绘制词云图:
图13 美团外卖logo蒙版fromPIL importImage
importnumpy asnp
fromwordcloud importImageColorGenerator
waimai_mask = np.array(Image.open( ‘美团外卖logo蒙版.png’))
image_colors = ImageColorGenerator(waimai_mask)
‘’’从文本中生成词云图’’’
wordcloud = WordCloud(background_color= ‘white’, # 背景色为白色
height= 400, # 高度设置为400
width= 800, # 宽度设置为800
scale= 20, # 长宽拉伸程度程度设置为20
prefer_horizontal= 0.2, # 调整水平显示倾向程度为0.2
mask=waimai_mask, # 添加蒙版
max_words= 1000, # 设置最大显示字数为1000
relative_scaling= 0.3, # 设置字体大小与词频的关联程度为0.3
max_font_size= 80# 缩小最大字体为80
).generate(comments)
plt.figure(figsize=[ 8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha= 1)
plt.axis( ‘off’)
‘’’保存到本地’’’
plt.savefig( ‘图14.jpg’, dpi= 600, bbox_inches= ‘tight’, quality= 95)
plt.show
这时我们会发现词云图上绘制出的全是乱码,这是因为 matplotlib 默认字体是不包含中文的:
图14 中文乱码问题
这时我们只需要为 WordCloud 传入 font_path参数即可,这里我们选择 SimHei 字体:
fromPIL importImage
importnumpy asnp
fromwordcloud importImageColorGenerator
waimai_mask = np.array(Image.open( ‘美团外卖logo蒙版.png’))
image_colors = ImageColorGenerator(waimai_mask)
‘’’从文本中生成词云图’’’
wordcloud = WordCloud(font_path= ‘SimHei.ttf’, # 定义SimHei字体文件
background_color= ‘white’, # 背景色为白色
height= 400, # 高度设置为400
width= 800, # 宽度设置为800
scale= 20, # 长宽拉伸程度程度设置为20
prefer_horizontal= 0.2, # 调整水平显示倾向程度为0.2
mask=waimai_mask, # 添加蒙版
max_words= 1000, # 设置最大显示字数为1000
relative_scaling= 0.3, # 设置字体大小与词频的关联程度为0.3
max_font_size= 80# 缩小最大字体为80
).generate(comments)
plt.figure(figsize=[ 8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha= 1)
plt.axis( ‘off’)
‘’’保存到本地’’’
plt.savefig( ‘图15.jpg’, dpi= 600, bbox_inches= ‘tight’, quality= 95)
plt.show
图15三、利用stylecloud绘制词云图
stylecloud 是一个较为崭新的模块,它基于 wordcloud ,添加了一系列的崭新特性譬如渐变颜色等,可以支持更为个性化的词云图创作:
图16 styleword制作词云图示例3.1 从一个简单的例子开始
这里我们沿用上一章节中使用过的处理好的 text来绘制词云图:
importstylecloud
fromIPython.display importImage # 用于在jupyter lab中显示本地图片
‘’’生成词云图’’’
stylecloud.gen_stylecloud(text=text,
size= 512,
output_name= ‘图17.png’)
‘’’显示本地图片’’’
Image(filename= ‘图17.png’)
图17
可以看出, styleword 生成词云图的方式跟 wordcloud 不同,它直接就将原始文本转换成本地词云图片文件,下面我们针对其绘制词云图的细节内容进行介绍。
3.2 gen_stylecloud
在 stylecloud 中绘制词云图只需要 gen_stylecloud 这一个函数即可,其主要参数及说明如下:
text:字符串,格式同WordCloud中的generate方法中传入的 text
gradient:控制词云图颜色渐变的方向,’horizontal’表示水平方向上渐变,’vertical’表示竖直方向上渐变,默认为’horizontal’
size:控制输出图像文件的分辨率(因为stylecloud默认输出方形图片,所以size传入的单个整数代表长和宽),默认为512
icon_name:这是stylecloud中的特殊参数,通过传递对应icon的名称,你可以使用多达1544个免费图标来作为词云图的蒙版,点击这里查看你可以免费使用的图标蒙版样式,默认为’fas fa-flag’
palette:控制调色方案,stylecloud的调色方案调用了palettable,这是一个非常实用的模块,其内部收集了数量惊人的大量的经典调色方案,默认为’cartocolors.qualitative.Bold_5’
background_color:字符串,控制词云图底色,可传入颜色名称或16进制色彩,默认为’white’
max_font_size:同wordcloud
max_words:同wordcloud
stopwords:bool型,控制是否开启去停用词功能,默认为True,调用自带的英文停用词表
custom_stopwords:传入自定义的停用词List,配合 stopwords共同使用
output_name:控制输出词云图文件的文件名,默认为stylecloud.png
font_path:传入自定义字体*.ttf文件的路径
random_state:同wordcloud
text:字符串,格式同WordCloud中的generate方法中传入的 text
gradient:控制词云图颜色渐变的方向,’horizontal’表示水平方向上渐变,’vertical’表示竖直方向上渐变,默认为’horizontal’
size:控制输出图像文件的分辨率(因为stylecloud默认输出方形图片,所以size传入的单个整数代表长和宽),默认为512
icon_name:这是stylecloud中的特殊参数,通过传递对应icon的名称,你可以使用多达1544个免费图标来作为词云图的蒙版,点击这里查看你可以免费使用的图标蒙版样式,默认为’fas fa-flag’
palette:控制调色方案,stylecloud的调色方案调用了palettable,这是一个非常实用的模块,其内部收集了数量惊人的大量的经典调色方案,默认为’cartocolors.qualitative.Bold_5’
background_color:字符串,控制词云图底色,可传入颜色名称或16进制色彩,默认为’white’
max_font_size:同wordcloud
max_words:同wordcloud
stopwords:bool型,控制是否开启去停用词功能,默认为True,调用自带的英文停用词表
custom_stopwords:传入自定义的停用词List,配合 stopwords共同使用
output_name:控制输出词云图文件的文件名,默认为stylecloud.png
font_path:传入自定义字体*.ttf文件的路径
random_state:同wordcloud
对上述参数有所了解之后,下面我们在图17的基础上进行改良,首先我们将图标形状换成炸弹的样子,接着将配色方案修改为scientific.diverging.Broc_3:
‘’’生成词云图’’’
stylecloud.gen_stylecloud(text=text,
size= 1024,
output_name= ‘图18.png’,
palette= ‘scientific.diverging.Broc_3’, # 设置配色方案
icon_name= ‘fas fa-bomb’# 设置图标样式
)
‘’’显示本地图片’’’
Image(filename= ‘图18.png’)
图183.3 绘制中文词云图
在 wordcloud 中绘制中文词云图类似 wordcloud 只需要注意传入支持中文的字体文件即可,下面我们使用一个微博语料数据 weibo_senti_100k.csv 来举例:
weibo = pd.read_csv( ‘weibo_senti_100k.csv’)
weibo_text = [word forword injieba.cut( ‘ ‘.join(re.findall( ‘[u4e00-u9fa5]+’, ‘ ‘.join(weibo[ ‘review’].tolist)))) ifword != ‘ ‘andword notinstopwords]
weibo_text[: 10] 图19
接着我们将蒙版图标样式换成新浪微博,将色彩方案换成colorbrewer.sequential.Reds_3:
‘’’生成词云图’’’
‘’’生成词云图’’’
stylecloud.gen_stylecloud(text= ‘ ‘.join(weibo_text),
size= 1024,
output_name= ‘图20.png’,
palette= ‘colorbrewer.sequential.Reds_3’, # 设置配色方案为https://jiffyclub.github.io/palettable/colorbrewer/sequential/#reds_3
icon_name= ‘fab fa-weibo’, # 设置图标样式
gradient= ‘horizontal’, # 设置颜色渐变方向为水平
font_path= ‘SimHei.ttf’,
collocations= False
)
‘’’显示本地图片’’’
Image(filename= ‘图20.png’)
图20
以上就是本文的全部内容,如有笔误望指出!
●
●
●