【头歌-Python】9.3 中英文词云绘制(project) 第1~3关

参考教程：B站视频讲解——https://space.bilibili.com/3546616042621301

第1关：词云练习1

任务描述

本关任务：编写一个能制作词云的小程序。

相关知识

词云

词云，也叫文字云，是一种应用广泛的数据可视化方法。是过滤掉文本中大量的低频信息，形成“关键词云层”或“关键词渲染”，对出现频率较高的“关键词”予以视觉化的突出展现，使浏览者只要一眼扫过文本就可领略文本的主旨。

word_cloud 是 python 的一个第三方库，可根据文本或文本中的词频，对文本内容进行可视化。
安装方法：

pip install wordcloud

word_cloud生成词云的主要方法有如下，分别用于以词频为参数或以字符文本为参数的场景。

方法名	使用场景
fit_words(frequencies)	根据词频生成词云，参数为包含词与词频的字典，为generate_from_frequencies的别名
generate(text)	根据文本生成词云，是generate_from_text的别名
generate_from_frequencies(frequencies)	根据词频生成词云，参数为词频字典
generate_from_text(text)	根据文本生成词云，如果参数是排序的列表，需设置’collocations=False’，否则会导致每个词出现2次。
process_text(text)	将英文长文本text分词并去除屏蔽词后生成词云。

请按照如下要求，依次绘制对应的词云图：
根据文件 Who Moved My Cheese.txt 的内容，用词频为参数的方法绘制英文词云，设置背景色为白色，不显示坐标轴。

(图片仅供参考，与本题要求不同)

编程要求

根据提示，在右侧编辑器补充代码，完成词云图的制作。

测试说明

平台会对你编写的代码进行测试：

• 预期输出：

图像对比一致，恭喜通关！

参考代码

import string
from wordcloud import WordCloud
import matplotlib.pyplot as plt

def read_file(file):
    """接收文件名为参数，将文件中的内容读为字符串，只保留文件中的英文字母和西文符号，过滤掉中
    文，所有字符转为小写，将其中所有标点、符号替换为空格，返回英文文本字符串。"""
    with open(file, 'r', encoding='utf-8') as f:
	    res = ''.join([x for x in f.read() if ord(x)<256]).lower()
	    for c in string.punctuation:
	        res = res.replace(c, ' ')
	    return res
    
def word_frequency(txt):
    """参数 txt去除标点、符号的文本，统计并返回每个单词出现的次数。返回值为字典类型"""
    dic = {}
    for s in txt.split():
        dic[s] = dic.get(s, 0)+1
    return dic

def draw_cloud_en_freq(en_frequency):
    """参数 en_frequency为字典类型词频，绘制词云，显示高频单词数量为80个，图片的宽度600，高度400，背景白色、字体最大值150、图片边缘为5，放大画布1.5倍，不随机(random_state=False)，不显示坐标轴，词云保存为图片，路径和名为：'result/result.png' """
    wc = WordCloud(max_words=80, width=600, height=400,
                   background_color='White', max_font_size=150,
                   margin=5, scale=1.5, random_state=False)
    wc.generate_from_frequencies(en_frequency)
    plt.axis('off')
    wc.to_file('result/result.png')
    plt.imshow(wc)

if __name__ == '__main__':
    filename = 'Who Moved My Cheese.txt'        # 英文文件名
    content = read_file(filename)               # 调用函数返回字典类型的数据
    frequency_result = word_frequency(content)  # 统计词频
    draw_cloud_en_freq(frequency_result)        # 调用函数生成词云
    plt.show()                                  # 显示图像

第2关：词云练习2

任务描述

本关任务：编写一个能制作词云的小程序。

相关知识

相关知识请参考 词云练习1 内的相关知识
根据文件“Who Moved My Cheese.txt”的内容，用文本为参数的方法绘制英文词云，设置背景色为白色，不显示坐标轴。观察两种方法绘制结果，分析其原因，了解stopwords参数的意义及stopwords文件的内容，思考用词频方法时，怎样处理才能得到与文本方法相近的结果？

编程要求

根据提示，在右侧编辑器补充代码，完成词云图的制作，具体要求查看模板中的函数文档注释。

测试说明

平台会对你编写的代码进行测试：

• 预期输出：

图像对比一致，恭喜通关！

参考代码

import string
from wordcloud import WordCloud
import matplotlib.pyplot as plt

def read_file(file):
    """接收文件名为参数，将文件中的内容读为字符串，只保留文件中的英文字母和西文符号，过滤掉中
    文，所有字符转为小写，将其中所有标点、符号替换为空格，返回英文文本字符串。"""
    with open(file, 'r', encoding='utf-8') as f:
	    res = ''.join([x for x in f.read() if ord(x)<256]).lower()
	    for c in string.punctuation:
	        res = res.replace(c, ' ')
	    return res
	    
def draw_cloud_en_txt(text):
    """参数text读文件获取的文本，绘制词云，显示高频单词数量为80个，
    图片的宽度600，高度400，背景白色、字体最大值150、图片边缘为5，
    放大画布1.5倍，不随机(random_state=False)，不显示坐标轴，
    词云保存为图片，路径和名为：'result/result.png' """
    wc = WordCloud(max_words=80, width=600, height=400,
                   background_color='White', max_font_size=150,
                   margin=5, scale=1.5, random_state=False)
    wc.generate(text)
    plt.axis('off')
    wc.to_file('result/result.png')
    plt.imshow(wc)
    
if __name__ == '__main__':
    filename = 'Who Moved My Cheese.txt'  # 英文文件名
    content = read_file(filename)         # 调用函数返回字典类型的数据
    draw_cloud_en_txt(content)

第3关：词云练习3

任务描述

本关任务：编写一个能制作词云的小程序。

相关知识

相关知识请参考 词云练习1 内的部分内容

jieba分词
中文词之间无分隔，所以中文词云的制作略麻烦，需要提前对文本进行分词处理。 jieba 是目前应用较广泛的一个中文分词库，可以导入 jieba 利用它进行分词再绘制词云。

import jieba
import jieba.analyse
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))

应用 textrank() 方法对字符串进行分词，可用参数 topK 设置最多返回多少个词（词性表 allowPOS 默认仅提取词性为地名 ns 、名词 n 、动名词 vn 、动词 v），例如设置 topK=100 ，返回最多 100 个词。返回的词与其权值以元组类型作为列表的元素，按权值降序排列，数据格式如：

('科技', 1.0), ('创新', 0.6818768373499384), ('研究', 0.39785607069634815), ('科学家', 0.39327521713414126), ...] 

将这个列表转为字典类型， 利用 WordCloud.generate_from_frequencies() 方法，以词频作参数，便可以绘制中文词云了。读文件 scientist.txt ，根据内容生成词云，字体不限，但要求中文能正常显示。设置用前 60 个高频词生成词云，背景色为白色，用 ball.jpg 作背景图片或自选背景图片。

编程要求

根据提示，在右侧编辑器补充代码，完成词云图的制作。

测试说明

平台会对你编写的代码进行测试：

• 预期输出：

{'科技': 1.0, '创新': 0.6818768373499384, '研究': 0.39785607069634815}
图像对比一致，恭喜通关！

参考代码

import jieba.analyse
from wordcloud import WordCloud
import matplotlib.pyplot as plt

def read_file(file):
    """接收文件名为参数，将文件中的内容读为字符串"""
    with open(file, 'r', encoding='utf-8') as f:
    	return f.read()

def word_frequency_cn(txt):
    """参数 txt读文件获取的文本，jieba.analyse.textrank()可用参数topK设置最多返回多少个按词频降序排列的关键词列表，
    数据格式为列表：[('人民', 1.0), ('中国', 0.9533997295396189), ...]，
    将列表转为字典:{'人民': 1.0, '中国': 0.9533997295396189,...}，返回这个字典"""
    List = jieba.analyse.textrank(txt, topK=60, withWeight=True)
    print(List)
    return dict(List)
    
def draw_cloud_cn(frequency_dict):
    """参数为词频，字典类型，设定图片的中文字体为('fonts/MSYH.TTC')、背景为白色、
    背景图片'ball.jpg'、字体最大值200、按比例进行放大画布2倍，储存为 result/result.png"""
    bg = plt.imread('ball.jpg')
    wc=WordCloud(font_path='fonts/MSYH.TTC',
        background_color='White',
        mask=bg, max_font_size=200,
        scale=2, random_state=False)
    wc.generate_from_frequencies(frequency_dict)
    plt.axis('off')
    wc.to_file('result/result.png')
    plt.imshow(wc)

if __name__ == '__main__':
    filename = '湿地公约.txt'                # 用于生成词云的中文文件名
    content = read_file(filename)
    frequency = word_frequency_cn(content)  # 利用jieba对文本进行分词，并统计词频
    draw_cloud_cn(frequency)                # 绘制词云