【NLP系列1】WordCloud制作词云 案例

1、库：

import jieba    #分词包
import numpy    #numpy计算包
import pandas as pd  #引入pandas数据处理包
from wordcloud import WordCloud,ImageColorGenerator   #词云包,颜色生成器
from scipy.misc import imread   #使用本地的图片作为背景图
import matplotlib.pyplot as plt  #画图
%matplotlib inline   #使图片展示
matplotlib.rcParams['figure.figsize'] = (10.0, 10.0)  #设置画布大小

2、学习到的知识点：
（1）WordCloud参数：

class wordcloud.WordCloud(
        font_path=None, 
        width=400, 
        height=200, 
        margin=2, 
        ranks_only=None, 
        prefer_horizontal=0.9,
        mask=None, scale=1, 
        color_func=None, 
        max_words=200, 
        min_font_size=4, 
        stopwords=None, 
        random_state=None,
        background_color='black', 
        max_font_size=None, 
        font_step=1, 
        mode='RGB', 
        relative_scaling=0.5, 
        regexp=None, 
        collocations=True,
        colormap=None, 
        normalize_plurals=True) 
##参数含义如下：
font_path : string //字体路径，需要展现什么字体就把该字体路径+后缀名写上，如：font_path = '黑体.ttf'
width : int (default=400) //输出的画布宽度，默认为400像素
height : int (default=200) //输出的画布高度，默认为200像素
prefer_horizontal : float (default=0.90) //词语水平方向排版出现的频率，默认 0.9 （所以词语垂直方向排版出现频率为 0.1 ）
mask : nd-array or None (default=None) //如果参数为空，则使用二维遮罩绘制词云。如果 mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云。如：bg_pic = imread('读取一张图片.png')，背景图片的画布一定要设置为白色（#FFFFFF），然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存，就ok了。
scale : float (default=1) //按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍。
min_font_size : int (default=4) //显示的最小的字体大小
font_step : int (default=1) //字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差。
max_words : number (default=200) //要显示的词的最大个数
stopwords : set of strings or None //设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS
background_color : color value (default=”black”) //背景颜色，如background_color='white',背景颜色为白色。
max_font_size : int or None (default=None) //显示的最大的字体大小
mode : string (default=”RGB”) //当参数为“RGBA”并且background_color不为空时，背景为透明。
relative_scaling : float (default=.5) //词频和字体大小的关联性
color_func : callable, default=None //生成新颜色的函数，如果为空，则使用 self.color_func
regexp : string or None (optional) //使用正则表达式分隔输入的文本
collocations : bool, default=True //是否包括两个词的搭配
colormap : string or matplotlib colormap, default=”viridis” //给每个单词随机分配颜色，若指定color_func，则忽略该方法。

（2）DataFrame.groupby

DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, observed=False, **kwargs)

DataFrame.groupby官方文档：http://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.groupby.html#pandas.DataFrame.groupby

3、案例代码：
（1）导入停用词

stopwords = pd.read_csv("data/stopwords.txt",index_col=False,quoting=3,sep="\t",names=['stopword'], encoding='utf-8')

（2）对文本进行分词。这里采用简单方便的jieba分词。

df = pd.read_csv("data/entertainment_news.csv")  #导入文本
df = df.dropna()   #去除文本空行
text = df.content.values.tolist()   #df.content类型为Series；df.content.values类型为numpy。将numpy的每一行转化为list的元素。使文本转化为一个大的list
segment = []    #定义一个空列表，用来添加分词后的词。
for line in text:   #对于列表中的每一个元素进行循环
    try:
        segs = jieba.lcut(line)    #对每一个文本进行jieba分词。segs为分词后的list,每个词是文本列表的一个元素
        for seg in segs:      #对列表中的每个词进行循环
            if len(seg)>1 and seg not in stopwords:    #如果词长度大于1，且不在停用词里；则添加到列表segment中
                segment.append(seg)
    except:
#         print(line)
        continue
segment[0:3]

（3）对词频进行统计。用以构建词云

word_stat=words_df.groupby(by=["segment"])["segment"].agg({"计数" : np.size})
# print(word_stat.head(10))
word_stat=word_stat.reset_index().sort_values(by=["计数"],ascending=False)
word_stat.head()

（4）做词云

bimg = imread('image/word_cloud_v.png')
wordcloud=WordCloud(background_color="black",mask=bimg,font_path='data/simhei.ttf',max_font_size=200)
word_frequence = {x[0]:x[1] for x in word_stat.head(1000).values}    #生成词频字典
wordcloud=wordcloud.fit_words(word_frequence)
bimgColors=ImageColorGenerator(bimg)
plt.axis("off")
plt.imshow(wordcloud.recolor(color_func=bimgColors))

备注：文章内容对七月在线NLP项目词云制作的整理笔记